Wave Forcing:迈向光速流式视频生成
Wave Forcing(WF)提出一种面向实时长视频生成的连续流式生成方法,在 Wan2.1-T2V-1.3B 上以5步去噪保持与 Rolling Forcing 相当的质量并提升动态度。
Wave Forcing(WF)提出一种面向实时长视频生成的连续流式生成方法,在 Wan2.1-T2V-1.3B 上以5步去噪保持与 Rolling Forcing 相当的质量并提升动态度。
Jack Dorsey 旗下 Block 的研究实验室发布语音模型 Dessa,该模型完全基于人类语音训练,可在单张 NVIDIA GPU 上本地运行,并能同时说话和聆听。Block 称 Dessa 为全双工语音到语音模型,情绪、停顿和笑声等表达内建于模型中,可在 MacBook M4 Max 或更高配置的消费级电脑上运行。目前 Dessa 尚未公开开放,Block 正邀请安全研究人员参与测试。
Gradium 开源端侧 TTS 模型家族 Phonon,含 31M 与 40M 两个尺寸,英文版 Phonon 31m 以 Apache 2.0 协议发布,q8 GGUF 文件 64.5 MB,输出 24 kHz 单声道音频。
DirCast 用单一流式视频语言模型同时完成电竞赛事直播的导播与解说:每秒低分辨率扫描全部选手镜头,由 hold-or-switch 导播模块决定是否切镜,再高分辨率读取所选镜头后开口解说。
Speridlabs 发布 3B 参数的扩散 transformer Iris-3B,直接对 RGB 像素去噪,不设 VAE 与潜空间,末端由 4 个 pixel head 把 16×16 patch 还原为像素,文本编码器为冻结的 Qwen3-VL-4B-Instruct。
Meta 发布开源权重模型 Muse Spark Open,称其为美国最强开源权重模型,采用 8160 亿参数和 100 万 token 上下文窗口,原生多模态,面向复杂编程与智能体任务。
阶跃星辰开放 Step 5 Preview 官方权重,总参数 600B、激活 27B,支持 1M 上下文,可处理文字与图像理解、编程及长程工具调用,提供 BF16、FP8 权重及 vLLM、SGLang 部署路径。蚂蚁百灵同期开源 Ling-3.1-flash,采用 MIT 许可证,总参数 560B、激活 25B,支持 1M 上下文,面向办公、搜索和编程 Agent 场景,提供混合推理开关。
昆仑万维发布 Matrix-Game 4.0,称其为世界首款运行在单张消费级显卡上的视频大模型游戏,已同步开源。该模型由游戏引擎维护世界状态与交互规则、视频生成模型实时呈现画面,在单张 NVIDIA RTX 5090 上实现 480p、60 FPS 体验,按键到画面响应延迟低于 150 毫秒。
NVIDIA 发布 Cosmos3-Nano 在 LIBERO-10 上后训练的动作策略检查点 S5_all,属 Cosmos Cookbook 合成数据对照实验的一个单元。
介绍 @runwayml_labs 的 Project Continuum,一个围绕实时视频界面构建的全新操作系统研究应用。 今天,我们分享四种与计算机交互新方式的早期预览:Portals、Visual Thinking、Responsive Video Interfaces 和 Interactive Worlds。像 Solaris 这样的 Interface World Models 正在重新构想界面可以是什么。
在今天的 AI Summit 上,Runway CTO Kamil Sindi 进一步介绍了我们的首个世界接口模型 Solaris。一种新型操作系统,随着你的交互而自我构建。每一帧都根据你的意图实时生成。 在主题演讲中,Kamil 分享了一个清晰的愿景:未来所有软件都是生成的。无需一行代码。 了解更多关于 Solaris:https://runway.com/news/research/introducing-solaris
造梦次元与生数科技用Vidu S2驱动AI主播紫樱完成一场48小时直播,累计31万+人观看、最高超4万人在线,总营收4.2万元。紫樱会念出新观众昵称、接住弹幕话题,并根据礼物唱歌、跳舞、换装和切换场景,直播中重开24次才达成8万营业值目标。
推荐理由:以一场48小时AI主播直播为样本,观察实时视频模型在互动内容中的实际表现与商业转化。
IndexTeam 发布 Index-Echo-S2TT-9B,用 Qwen3-Omni AuT 音频编码器加 Index-Translate-9B 解码器把语音转成文本,接受音频或视频文件并输出带句级时间戳的双语字幕,打包推理接口支持中文译成英语、日语或西班牙语。
推荐理由:Index-Echo-S2TT-9B 开源了语音转写加双语字幕的完整推理包,创作者可据此评估字幕与翻译流程的替换成本。
IndexTeam 发布 Index-Echo-S2TT-2B,用 Qwen3-Omni AuT 音频编码器、音频连接器和 Index-Translate-2B 解码器把语音转成文本,接受音频或视频文件并输出带句级时间戳的双语字幕,打包推理接口支持中文译成英语、日语或西班牙语。
推荐理由:Index-Echo 系列新增语音转文字翻译成员,公开了架构、推理参数与自建评测对比,可据此判断是否接入字幕流程。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮替的动态视觉形象。
推荐理由:Gemini 3.8 Live 新增实时数字人能力,支持 97 种语言口型同步与后台工具调用,企业可据此评估虚拟客服等场景。
Overworld 发布实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广消费级硬件的 360p 档,后续将支持 Apple Silicon Mac。
推荐理由:Waypoint-1.5 把实时世界模型压到消费级显卡,720p 与 360p 双档让创作者可评估本地交互式生成的可行性。
Overworld 发布实时交互式视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,权重已上线 Hugging Face Hub,包含 Waypoint-1-Small,Waypoint-1-Medium 即将推出。
推荐理由:实时交互式视频扩散模型开源,可评估其在消费级硬件上做可交互世界生成的实际表现。
NVIDIA 发布开源推理视觉语言模型 Cosmos Reason 2,在 Physical AI Bench 与 Physical Reasoning 榜单上成为排名第一的开源视觉理解模型。
OpenAI 发布新旗舰模型 GPT-4o,可跨音频、视觉和文本进行实时推理。