Valtz 发布原生 macOS 应用,本地串联图像、视频与音频生成工作流
Valtz 是一款基于 Vpipe 推理引擎的原生 macOS 应用,面向 Apple Silicon 优化,把图像生成与编辑、视频生成、图生视频、AI 提示词增强、多图层视频剪辑、AI 超分、声音克隆与音乐生成整合在同一界面,无需手动搭建节点工作流。
Valtz 是一款基于 Vpipe 推理引擎的原生 macOS 应用,面向 Apple Silicon 优化,把图像生成与编辑、视频生成、图生视频、AI 提示词增强、多图层视频剪辑、AI 超分、声音克隆与音乐生成整合在同一界面,无需手动搭建节点工作流。
ComfyUI 将 NVIDIA RTX 视频效果做成自定义节点,包含 RTX Video Super Resolution、RTX Video Frame Generation 和 RTX Video HDR,模型随节点附带并在本地 RTX GPU 上运行。
推荐理由:ComfyUI 把 NVIDIA RTX 视频超分、补帧与 SDR 转 HDR 做成节点,并改进 EXR 支持,可对照现有 VFX 流程评估。
NVIDIA RTX Spark 将于 10 月 16 日随笔记本上市,这款最高 128GB 统一内存、1 petaflop AI 算力的超级芯片把游戏 PC、创作工作站与个人 AI 超算合为一体。
Meta 发布 Muse Wonder 与 Muse Wonder Full 两款长任务编程模型,均提供 100 万 token 上下文,可分派子 Agent 并在出错后恢复,Wonder 通过兼容 OpenAI 的 Meta Model API 或 Muse Code 使用,Full 仅向 Muse Code 付费订阅开放,两者均未公开权重。
10 月 12 日,模思智能宣布完成超 10 亿元 Pre-A 轮融资,由华控基金领投,国开科创、上海科创基金、新微资本等参投,老股东元禾控股、上海科创集团、星连资本继续跟投,距天使轮官宣约半年。
超小型图像生成模型 AuroraIMG-6M 已可通过 ComfyUI 在 AMD XDNA 2 NPU 上运行,但该混合实现比 CPU FP32 慢约 11 倍。
Google AI Studio 向部分开发者发出通知,要求其在 10 月 12 日前将 Gemini API 从后付费改为预付费,逾期将中断服务。预付费余额为零时,即使 API 密钥和代码正常,付费 Gemini API 调用也会失败;余额按 Cloud Billing 账户而非项目或 API 密钥管理,购买后有效期 1 年。仅使用免费额度的用户无需迁移。
NVIDIA 发布 Cosmos3-Nano 在 LIBERO-10 上后训练的动作策略检查点 S5_all,属 Cosmos Cookbook 合成数据对照实验的一个单元。
Anthropic 为 Claude 推出 Motion 和 Dashboards 两项 beta 功能,Motion 可导出 MP4 动画,Dashboards 则能一句话生成实时数据看板。用户可让 Claude 把数据变成动态看板、把想法变成动画讲解,被调侃以后工作汇报可能直接上动画数据演示。
黄仁勋指出未来最好的软件用户不是人而是AI代理,因为人类通常只用到Photoshop、Blender、Excel、Unreal等软件10%-15%的功能,而代理掌握每一个按钮、参数和隐藏路径。微软Surface Ultra现场演示中,代理直接操作Blender、Unreal、ComfyUI干活,效果更像换了操作者而非辅助。软件不会消失,消失的是只掌握15%功能的人的竞争力。
Lightricks 的 LTX 2.5 Fast 在 VIBE 中支持文生视频与图生视频,提供 720p 到 4K 四档分辨率、2 至 20 秒时长,且每条片段都自动生成音轨。
基于 Muse Gadgets SDK,用 M5 Stack 的 Stop Watch 硬件做出一个磁吸在电脑屏幕旁的小玩具,已内置多个常见 ESP32 设备固件可直接刷入。作者做了 UI 优化、更改语言并加上语音输出,语音能力接入 MiniMax API。
有人用 M5Stack 的 Stop Watch Meta 配合 Muse Gadgets SDK 做出了一个 Muse 小玩具。该 SDK 已内置多款常见 ESP32 设备固件,直接刷入即可使用。Muse 此前发布了这款开源 Linux SDK,可让 ESP32 设备连接 Muse 获取信息并构建周边硬件。
介绍 @runwayml_labs 的 Project Continuum,一个围绕实时视频界面构建的全新操作系统研究应用。 今天,我们分享四种与计算机交互新方式的早期预览:Portals、Visual Thinking、Responsive Video Interfaces 和 Interactive Worlds。像 Solaris 这样的 Interface World Models 正在重新构想界面可以是什么。
作者在 GMKtec EVO-X2(Ryzen AI Max+ 395、Radeon 8060S)上,用 Unsloth 发布的 MiniMax H3 剪枝 Q4_K GGUF 权重配合 stable-diffusion.cpp 的 ROCm 版本,测试了纯文本、单图 I2VA 和双参考图 Ref2VA 三种生成方式。
在一场深度问答中,Runway Research 团队聊了实时模型、生成式界面,以及机器人技术的下一步。
在今天的 AI Summit 上,Runway CTO Kamil Sindi 进一步介绍了我们的首个世界接口模型 Solaris。一种新型操作系统,随着你的交互而自我构建。每一帧都根据你的意图实时生成。 在主题演讲中,Kamil 分享了一个清晰的愿景:未来所有软件都是生成的。无需一行代码。 了解更多关于 Solaris:https://runway.com/news/research/introducing-solaris
造梦次元与生数科技用Vidu S2驱动AI主播紫樱完成一场48小时直播,累计31万+人观看、最高超4万人在线,总营收4.2万元。紫樱会念出新观众昵称、接住弹幕话题,并根据礼物唱歌、跳舞、换装和切换场景,直播中重开24次才达成8万营业值目标。
推荐理由:以一场48小时AI主播直播为样本,观察实时视频模型在互动内容中的实际表现与商业转化。
IndexTeam 发布 Index-Echo-S2TT-9B,用 Qwen3-Omni AuT 音频编码器加 Index-Translate-9B 解码器把语音转成文本,接受音频或视频文件并输出带句级时间戳的双语字幕,打包推理接口支持中文译成英语、日语或西班牙语。
推荐理由:Index-Echo-S2TT-9B 开源了语音转写加双语字幕的完整推理包,创作者可据此评估字幕与翻译流程的替换成本。
IndexTeam 发布 Index-Echo-S2TT-2B,用 Qwen3-Omni AuT 音频编码器、音频连接器和 Index-Translate-2B 解码器把语音转成文本,接受音频或视频文件并输出带句级时间戳的双语字幕,打包推理接口支持中文译成英语、日语或西班牙语。
推荐理由:Index-Echo 系列新增语音转文字翻译成员,公开了架构、推理参数与自建评测对比,可据此判断是否接入字幕流程。
Tern 是一款在 Apple Silicon 上本地运行的播客与视频库搜索工具,通过 whisper.cpp(Whisper Large v3 Turbo,Q5)、Apple Vision OCR 和 SigLIP-2 三路索引,可按语音、屏幕文字或画面内容检索任意片段,结果融合为统一排名。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮替的动态视觉形象。
推荐理由:Gemini 3.8 Live 新增实时数字人能力,支持 97 种语言口型同步与后台工具调用,企业可据此评估虚拟客服等场景。
NVIDIA 发布 Magpie TTS Multilingual 开放权重模型,参数量 364M,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升多语言合成质量。
Hugging Face 与 Cerebras 联合演示了一套实时语音到语音流水线,用 Cerebras 加速 Gemma 4 31B 推理,语音识别用 Nvidia 的 Parakeet,语音合成用阿里 Qwen3TTS,各层模块化且开源可替换。
OpenAI 重建了其 WebRTC 技术栈,以支撑实时语音 AI 的低延迟、全球规模化与流畅的对话轮次切换。
Overworld 发布实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广消费级硬件的 360p 档,后续将支持 Apple Silicon Mac。
推荐理由:Waypoint-1.5 把实时世界模型压到消费级显卡,720p 与 360p 双档让创作者可评估本地交互式生成的可行性。
Overworld 发布实时交互式视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,权重已上线 Hugging Face Hub,包含 Waypoint-1-Small,Waypoint-1-Medium 即将推出。
推荐理由:实时交互式视频扩散模型开源,可评估其在消费级硬件上做可交互世界生成的实际表现。
NVIDIA 发布开源推理视觉语言模型 Cosmos Reason 2,在 Physical AI Bench 与 Physical Reasoning 榜单上成为排名第一的开源视觉理解模型。
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型在 Arm CPU 上构建了一款本地实时音效生成工具,无需 GPU 和云端推理,几秒内即可根据文字提示生成 .wav 文件并直接导入 Ableton Live。
Hugging Face 与 Cloudflare 达成合作,FastRTC 开发者凭 Hugging Face Token 即可接入 Cloudflare 覆盖全球 335 多个地点的 TURN 网络,每月免费流式传输 10GB 数据且无需信用卡。该集成将在 FastRTC 0.0.20 及以上版本提供,超出限额后可切换至 Cloudflare 账户扩容。
Hugging Face 发布 FastRTC,一个用 Python 构建实时音频与视频 AI 应用的实时通信库。
推荐理由:FastRTC 把 WebRTC 实时音视频通信封装成 Python 库,可省去自建实时链路的前期成本。
OpenAI 发布新旗舰模型 GPT-4o,可跨音频、视觉和文本进行实时推理。
苹果工程师提供了转换脚本与推理代码,Hugging Face 已把 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的权重转成 Core ML 版本并放到 Hugging Face Hub。
推荐理由:苹果工程师与 Hugging Face 把 Stable Diffusion 权重转成 Core ML,并给出 Python 与 Swift 两条推理路径,可据此在 Apple Silicon 上本地出图。