ComfyUI-Drama3 把 Fish Audio Drama 3 做成 ComfyUI 节点,8GB 显存可跑 35B 语音模型
ComfyUI-Drama3 将 Fish Audio 的 35B 混合专家语音模型 Drama 3 与 Qwen3-ASR 打包成 ComfyUI 自定义节点,无需额外安装依赖,专家权重放在系统内存、经显存缓存流式读取,8GB 显存即可运行。
推荐理由:把 35B 语音模型塞进 8GB 显存卡,并给出四种量化版本与逐帧实测数据,可据此判断本地出片是否可行。
创作方向
AI 语音的进展:配音、声音克隆、多情绪朗读与短剧有声化的工具和方法。
60 条精选近 30 天 33 条共收录 269 条
ComfyUI-Drama3 将 Fish Audio 的 35B 混合专家语音模型 Drama 3 与 Qwen3-ASR 打包成 ComfyUI 自定义节点,无需额外安装依赖,专家权重放在系统内存、经显存缓存流式读取,8GB 显存即可运行。
推荐理由:把 35B 语音模型塞进 8GB 显存卡,并给出四种量化版本与逐帧实测数据,可据此判断本地出片是否可行。
Fish Audio 发布开源语音生成模型 Drama 3 预发布版,可将文本转为带表演的语音。模型采用 35B-A3B 混合线性注意力 MoE 主干(由 Qwen3.5 初始化)与新的 codebook-MTP 音频解码器,预训练覆盖约 80 种语言和方言、数千亿 token,支持多参考声音克隆、自然语言指令、多轮改稿、多角色场景、语音填充编辑与长音频和流式合成。
推荐理由:开源语音模型把多角色场景、多轮改稿与语音编辑放进同一模型,配音工作流可据此评估替换空间。
Fish Audio 于 2026 年 10 月 13 日发布新一代语音合成模型 Drama 3,为开放权重的 35B MoE 模型,每 token 激活 3B。
推荐理由:35B 开源语音模型支持 16 角色同轨生成与自然语言表演指令,可对照其发音鲁棒性数据评估配音与有声书流程。
OpenBMB 发布 VoxCPM2,砍掉主流 TTS 的离散 token 量化环节,改用扩散自回归架构在连续音频隐空间生成语音,仓库 38.7k Star、Apache-2.0 协议、权重代码全开可商用。
推荐理由:VoxCPM2 去掉离散 token 量化,改在连续隐空间生成语音,并给出从本地到生产的多种部署路径。
Kapwing 发布分步指南,讲解如何用 AI 生成 Vox 风格拼贴动画纪录片,流程分为写脚本、拆分视觉节拍、生成拼贴图像、逐帧动画、生成配音和剪辑成片六步。
推荐理由:完整拆解 Vox 拼贴风纪录片的六步 AI 工作流,含可复用的图像与动画 Prompt,适合想复刻该视觉风格的创作者参考。
作者安田亮介公开了自己用 Claude 桌面端配合 Claude in Chrome 操作 Seedance 2.5 生成视频的四步流程:先用 ChatGPT 做角色表、准备小物与声音素材,再写清人物、场景、动作、镜头、台词读音、负面提示和竖横比画质秒数,然后交给 Claude 自动操作 Yapper 平台生成,最后逐条反馈修改。
推荐理由:作者公开了自己用 Claude 操作 Seedance 2.5 出片的完整四步流程,含角色表、口型与成本明细,可迁移到自己的生成工作流。
Sitor AI 在 GitHub 开源 Frametell(帧言),可将一句话、文档、PDF、幻灯片或图片转成带字幕的 1080p 解说视频。流程由导演智能体先出分镜供确认,再写旁白、用 ElevenLabs(中文用火山引擎 TTS)配音、逐页绘制并自检,内置 warm-story、study、chalkboard、whiteboard、tech-dark 五种风格。
推荐理由:开源本地运行的解说视频生成工具,先出分镜待确认再配音渲染,创作者可据此评估是否纳入出片流程。
Synthesia 以 beta 形式发布 AI 视频创作工具 Syren,输入提示词、预设或已有品牌文档、图片、视频、PPT、YouTube 链接,即可生成含动态图形、动画、数字人、配音、音乐和 b-roll 的成片,并可在对话中修改。
推荐理由:Synthesia 把视频生成做成对话式智能体,可对照其与现有编辑器在精确内容场景上的分工。
kandinskylab 发布 Kandinsky 6.0 Video 系列扩散模型,包含 3B 参数的 Lite 和 29B 参数的 Pro,可生成 5 秒带 44 kHz 同步音频(含对口型)的视频,支持文生音视频与图生音视频,并配有超分模型将输出提升至 Full HD(1920×1080)。
推荐理由:Kandinsky 6.0 开源了带同步音频与对口型的视频生成模型,并给出各档显卡的实测耗时,方便创作者评估本地部署成本。
Suno 发布 Speech beta,这是其首个将人声与音乐作为一条完整音轨一起生成的音频模型。用户输入想法、诗歌或已有文字,再描述想要的音色与音乐风格,即可生成配原创背景音乐的语音内容。该模型已向全体用户开放 beta,此前已在小范围用户中测试一个月,官方称英式口音偶尔会漂移到澳式等效果仍待改进。
推荐理由:Suno 把语音与背景音乐合成到同一条音轨,做短剧旁白或配音的创作者可以据此评估新的出片方式。
DramaClip v0.2.0 首个公开版发布,导入一部几十集短剧后可批量产出可直接发布的推广短视频,媒体处理全部在本机完成。该版本用 OCR 与 ASR 融合转写并借硬字幕逐字校正,实测 60% 段落被修正,同时以 CAM++ 声纹聚类做说话人分离。
推荐理由:本地完成转写、解说文案与音色克隆的短剧推广成片工具,可看其九种出片模式与剪口对齐思路。
YeJe-cpu 在 GitHub 开源 SeeCut,一个给 Claude Code 等 coding agent 用的 skill,把数字人或真人口播素材自动精剪成带动效的竖屏短视频,并可选推成剪映分层草稿微调。
推荐理由:作者开源了一套可复用的口播精剪 skill,含数字人配音与剪映草稿交付的完整流程。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音合成模型,前者面向角色设计与逐句表演指导,后者面向高体量、低成本的配音与语音智能体场景。
推荐理由:两款 TTS 模型把声音生成从固定预设变成可逐句导演的创作流程,配音与有声书团队可据此评估迁移。
Cartesia 推出 Multilingual Voices,50+ 库内音色可原生说最多 25 种语言,并支持把自建声音克隆扩展为多语言。每个语言和口音由母语者按评分表打分,检查口音是否保持以及日期、数字、货币是否按当地读法处理。
推荐理由:Cartesia 把同一音色扩展到 25 种语言,并支持用十秒音频克隆后追加多语言口音,做多语种配音的团队可据此评估替换现有流程。
OpenAI 在 API 中推出 GPT-Live-1,支持自然的全双工语音对话。该模型在指令遵循上有所增强,并支持自定义音色与电话通信能力。
推荐理由:OpenAI 把全双工语音对话能力开放到 API,开发者可据此评估语音交互产品的接入方式。
Google 发布音频模型 Gemini 3.5 Live Translate,支持 70+ 语言的近实时语音到语音翻译,能自动检测语言并保留说话人的语调、节奏和音高。
推荐理由:Gemini 3.5 Live Translate 把同传延迟压到几秒并支持 70+ 语言,开发者可据此评估实时配音与会议翻译方案。
Google 发布 Gemini 3.1 Flash TTS,称其为目前最自然、表现力最强的语音模型,在 Artificial Analysis TTS 榜单上取得 1,211 Elo 分。
推荐理由:Gemini 3.1 Flash TTS 引入音频标签与多说话人对话,开发者可据此评估语音生成的可控性提升。
Google 发布 Gemini 3.1 Flash Live,称其为目前质量最高的音频与语音模型,具备更高精度和更低延迟。
推荐理由:Gemini 3.1 Flash Live 在语音交互的延迟、长程推理与多语言上给出可对比的基准数据,开发者可据此评估语音智能体的落地。
Google 发布升级版 Gemini 2.5 Flash Native Audio,面向实时语音智能体,提升了复杂工作流处理、指令遵循和多轮对话能力,在 ComplexFuncBench Audio 上以 71.5% 领先,开发者指令遵循率从 84% 升至 90%。
推荐理由:Gemini 2.5 Flash Native Audio 更新了函数调用、指令遵循与多轮对话能力,并新增实时语音翻译,可据此评估语音智能体与翻译场景的可用性。
OpenAI 宣布训练并开源语音识别神经网络 Whisper,称其在英文语音识别上的鲁棒性和准确率接近人类水平。
推荐理由:OpenAI 开源语音识别模型 Whisper,其英文识别鲁棒性与准确率接近人类水平。