SpaceXAI 发布 Grok Voice 3.0,登顶 Artificial Analysis 语音对话指数
SpaceXAI 发布语音到语音模型 Grok Voice 3.0,在 Artificial Analysis Speech-to-Speech Index 上以 86.9 分排名第一,高于 GPT-Live-1(Astra, medium)的 83.2 分和 Gemini 3.8 Live Extended Thinking 的 82.6 分。
SpaceXAI 发布语音到语音模型 Grok Voice 3.0,在 Artificial Analysis Speech-to-Speech Index 上以 86.9 分排名第一,高于 GPT-Live-1(Astra, medium)的 83.2 分和 Gemini 3.8 Live Extended Thinking 的 82.6 分。
苹果 10 月 14 日收盘市值首次站上 5 万亿美元,成为继英伟达后全球第二家达成该里程碑的公司。赛力斯已起诉一名抖音用户,指其用 AI 合成问界车辆车身塌陷虚假画面,索赔 100 万元。豆包手机助手宣布陆续放开第三方应用屏幕自动化操作权限,阿里、腾讯系等 App 已明确声明拒绝。
VIBE 是一款 AI 视频生成应用,支持用 Kling、Sora、Veo 等模型从文本或图片生成解说视频。其流程为:写 60 至 120 秒脚本、拆成 4 至 10 秒的分镜、逐镜生成并配音导出。
作者为 Fish Audio Drama 3 开发了 ComfyUI-Drama3 自定义节点,这是一个 35B 文本转语音模型,支持声音克隆、对话以及 [sighs]、[whispers] 等行内提示,最低可在 8GB 显存的显卡上运行。
推荐理由:作者把 35B 语音模型接进 ComfyUI 并做量化,8GB 显存即可跑,可据此评估本地配音工作流。
HeyGen 发布新语音模型 HeyGen Voice,称其为首个为视频适配而构建的语音模型,并在 Artificial Analysis 语音榜单排名第一,已包含在每条 HeyGen 视频中且不额外收费。
推荐理由:HeyGen 推出首个面向视频适配的语音模型,创作者可据此评估配音与多语言口型流程的替换空间。
Fish Audio 的 35B(3B 激活)多说话人 TTS 模型 Drama 3 出现非官方 int4 量化版 drama-3-int4,下载体积 22.1 GB,低于原版 41.5 GB,专家层、注意力和 deltanet 层量化为 int4,共享专家 MLP 保留 bf16。
Apple 研究者提出首个从头预训练的三模态掩码扩散模型(MDM),同时处理文本、图文和音频-文本数据,并系统分析了多模态扩展规律、模态混合比例、噪声调度与批大小影响。
Google DeepMind 的 Gemini 4 Argon 已在全球上线,Pro 与 Ultra 订阅者可优先使用。该模型采用稀疏 Mixture-of-Experts 架构,支持文本、图像、音频原生多模态输入,上下文最长 100 万 token,定价为输入每 100 万 token 2 美元、输出 10 美元。
Google 于 10 月 13 日扩大 Gemini 4 Argon 开放范围,该模型支持 1,048,576 token 上下文,可接收文本、图像、视频、音频和 PDF,Gemini 应用 Pro、Ultra 用户及付费 API、AI Studio 用户均可使用。
Higgsfield、Runway、HeyGen、Invideo AI、Synthesia 与 Kling AI 被列为 2026 年 Adobe Firefly 的六款替代方案,覆盖场景生成、剪辑、AI 主播、脚本转视频与电影级运镜等不同工作流。
针对 AI 视频中旁白听不清、音效突兀、BGM 过响的问题,可用「声音三层」整理法:先定主役音(旁白或 AI 音乐),BGM 与环境音作支撑,音效只在转场处使用。
ComfyUI-Drama3 将 Fish Audio 的 35B 混合专家语音模型 Drama 3 与 Qwen3-ASR 打包成 ComfyUI 自定义节点,无需额外安装依赖,专家权重放在系统内存、经显存缓存流式读取,8GB 显存即可运行。
推荐理由:把 35B 语音模型塞进 8GB 显存卡,并给出四种量化版本与逐帧实测数据,可据此判断本地出片是否可行。
mlx-audio 发布 v0.5.9,新增 Irodori-TTS v4-Large(T5Gemma2 文本编码器)支持,并为 Fish S2 Pro 加入流式支持。
HeyGen 企业版本月新增成员用量限额与申请功能,管理员可设置每位成员的使用额度,成员可在 HeyGen 内直接申请更多额度并一键审批。Video Agent 支持团队协作同一会话,多人可同时发送提示词,同一时间仅一人编辑。Brand Glossary 重建,支持按语言设置发音与翻译规则、CSV/Excel 导入导出;ElevenLabs 整合为单一引擎并新增 v4 模型选项。
HeyGen 发布 10 月企业 API 更新,HeyGen Video 1.0 API 上线,支持从提示词、图片或参考素材生成短视频。ElevenLabs v4 可用于语音合成并支持按请求选择模型,Professional Voice Clone 基于 HeyGen 自研语音模型训练录音室级声音克隆,支持整段文件或流式输出。
Fish Audio 发布开源语音生成模型 Drama 3 预发布版,可将文本转为带表演的语音。模型采用 35B-A3B 混合线性注意力 MoE 主干(由 Qwen3.5 初始化)与新的 codebook-MTP 音频解码器,预训练覆盖约 80 种语言和方言、数千亿 token,支持多参考声音克隆、自然语言指令、多轮改稿、多角色场景、语音填充编辑与长音频和流式合成。
推荐理由:开源语音模型把多角色场景、多轮改稿与语音编辑放进同一模型,配音工作流可据此评估替换空间。
英国上议院议员坎贝尔女男爵(Baroness Campbell of Surbiton)借助 ElevenLabs 的声音克隆与文本转语音技术,在《健康法案》二读中用自己的 AI 重建声音发表演讲,这是英国议会两院首次有议员使用 AI 生成语音发言。
一位心理学背景的 IT 工程师用 Grok 视频生成功能和 Google Flow 等 AI 工具重现日本护理现场场景,发现画面已相当自然,但声音成为最大难点。指定日语对话后模型仍可能输出英语,且「帰りたい!」这类大声场景中,AI 语音虽音量到位,却难以传达不安、混乱等情绪,显得夸张或机械。作者认为画面越真实,声音表达的责任越大,未来或需将视频与音频分开生成。
pyvideotrans 发布 v4.16,修复 Edge-TTS 403 问题,并新增 audio.cpp 和 fish.audio api 两个配音渠道。该版本还新增 Atlas Cloud 翻译渠道、法语 WebUI 界面,并在高级选项的字幕翻译中加入"使用 LLM 重新断句替代 LLM 纠错"。
GenMagic 在 ComfyUI 发布首个版本,包含 GenMagic Image(文生图、图生图)、GenMagic Video(文生视频、图生视频)、GenMagic Speech、GenMagic Music 和 GenMagic Text 五个模块。该版本以 ComfyUI 节点形式提供,来源页面标注其覆盖 450+ 图像、视频、音频与文本模型。
定焦One分析AI剪辑正在改变视频生产的收费方式,原本支付给剪辑师和软件公司的钱开始流向模型、算力与自动化服务。2026年9月剪映推出AI创作工作台Hub、智能剪辑助手和AI Ultra会员,Adobe将Creative Agent扩展至Premiere,Descript、Runway等公司也从各自环节向完整生产流程延伸。
10 月 12 日,模思智能宣布完成超 10 亿元 Pre-A 轮融资,由华控基金领投,国开科创、上海科创基金、新微资本等参投,老股东元禾控股、上海科创集团、星连资本继续跟投,距天使轮官宣约半年。
Descript 发布 10 月更新,为整个云盘加入搜索栏和完整结果页,并支持让 Underlord 查找文件、文件夹、项目和 layout packs。企业版云盘可发送异步录制请求,嘉宾按自己的时间录制并可用提词器读脚本;AI Speech 升级到 ElevenLabs v4,声音克隆更接近本人。
AITuber 发布 Lumen5 替代品指南,按离开原因推荐工具:想要 AI 生成画面选 AITuber,需要出镜数字人选 Synthesia,想保留素材库风格但更便宜选 Pictory,需要团队席位则看 Kapwing 和 InVideo AI。
Fish Audio 于 2026 年 10 月 13 日发布新一代语音合成模型 Drama 3,为开放权重的 35B MoE 模型,每 token 激活 3B。
推荐理由:35B 开源语音模型支持 16 角色同轨生成与自然语言表演指令,可对照其发音鲁棒性数据评估配音与有声书流程。
Jeff T. Thomas 以三分钟 AI 预告片 The Gifted 赢得 250 万美元 Future Vision XPRIZE,约 2500 份参赛作品中评委一致选出,奖金为 10 万美元现金加 250 万美元股权,用于一部约 1000 万美元、不会由 AI 生成的剧情长片。
一位创作者用 ChatGPT 生成约 25 张分镜图、Irodori-TTS 免费配音、Runpod 租用 GPU 跑 miniMax H3 生成视频、capcut 剪辑,做出一分钟 AI 动画,成本约 ¥90-¥150,耗时两天。
一位创作者分享用 AI 制作在线课程视频的真实经验:用自己声音的声音克隆配音,但录了 4 种带情感起伏的版本后听不出差别,最终沿用原声,改以问句结尾等方式通过文字写法营造明快感。
DramaClip 发布 v0.2.1,新增视觉轨,用本地 Qwen3-VL 三档模型(2B/4B/8B,GGUF 量化 + llama.cpp,CPU 可跑)每集均匀采 16 帧生成带时间戳的画面实据,供剧本提示词按集引用。
红果短剧DAU达1.68亿、同比增长107%,AI短剧已成为其平台观看与互动最多的内容。传统视频平台用户持续流失,腾讯视频、爱奇艺、优酷、芒果TV日活总和仅1.55亿,MTS同比分别下滑31%、27%、47%、24%。文章认为AI短剧是“惯性”逻辑最适配的结果,短视频消费习惯与AI技术汇流推动其工业化生产。
Synthesia 以 $19/月 Starter 起步,在幻灯片导入保真度、AI 旁白质量和可编辑性上综合排名第一,支持 140+ 语言。
AITuber 发布 AI 内容再利用工具选型指南,按素材类型给出对应工具:文章或 PDF 选 AITuber 生成带画面与字幕的旁白视频,长视频选 Opus Clip,播客选 Castmagic,成品片段分发选 Repurpose.io。
Stable Diffusion Art 发布教程,介绍如何在 ComfyUI 中搭建 MiniMax H3 文生视频工作流,一次生成带立体声的 5 秒 24fps 片段。
研究团队提出 SyncReward,一个用于音视频生成同步性评估与优化的奖励模型,并发布含 80K 专业同步评分的 SyncReward-Data-80K 数据集与 1K 片段的 SyncReward-Bench 基准。该模型在评测中与人类评分一致性最高,并可通过推理时 best-of-N 选择与强化学习后训练提升生成同步性。数据、基准、模型与代码将开源。
AI 电影制作人 Frank Houbre 公开了自己 2026 年的创作工具栈,按电影制作流程分为六个环节,每个关键环节只保留一个主力工具。写作环节以他参与共创的 ScreenWeaver 为核心,Claude 与 Claude Code 负责审阅和重复性任务;图像与视频生成以 Higgsfield 为主力,因其在同一账户下聚合多个模型。
OpenBMB 发布 VoxCPM2,砍掉主流 TTS 的离散 token 量化环节,改用扩散自回归架构在连续音频隐空间生成语音,仓库 38.7k Star、Apache-2.0 协议、权重代码全开可商用。
推荐理由:VoxCPM2 去掉离散 token 量化,改在连续隐空间生成语音,并给出从本地到生产的多种部署路径。
声音设计师兼混录师 Charles Maynes 回应 Rene Coronado 的文章,认为 AI 无法复制人类隐喻式创意思维,但真正的威胁不在创意层面。他指出成本驱动的客户、只租不拥有的 AI 工具、版权不确定性以及市场底部的侵蚀,才是声音行业需要面对的风险。
用 Python 绘制画面、ffmpeg 拼接、仅对旁白使用最新语音模型,可将 3 分钟学习视频成本压到约 50〜90 日元,远低于视频生成 AI 的 570〜1,700 日元。作者推荐 Gemini 3.8 TTS 或 Eleven v4 做旁白,并称可单独重读出错句子便于修正。
Kapwing 发布分步指南,讲解如何用 AI 生成 Vox 风格拼贴动画纪录片,流程分为写脚本、拆分视觉节拍、生成拼贴图像、逐帧动画、生成配音和剪辑成片六步。
推荐理由:完整拆解 Vox 拼贴风纪录片的六步 AI 工作流,含可复用的图像与动画 Prompt,适合想复刻该视觉风格的创作者参考。
作者安田亮介公开了自己用 Claude 桌面端配合 Claude in Chrome 操作 Seedance 2.5 生成视频的四步流程:先用 ChatGPT 做角色表、准备小物与声音素材,再写清人物、场景、动作、镜头、台词读音、负面提示和竖横比画质秒数,然后交给 Claude 自动操作 Yapper 平台生成,最后逐条反馈修改。
推荐理由:作者公开了自己用 Claude 操作 Seedance 2.5 出片的完整四步流程,含角色表、口型与成本明细,可迁移到自己的生成工作流。