跳到正文

创作方向

配音与音频 最新动态

AI 语音的进展:配音、声音克隆、多情绪朗读与短剧有声化的工具和方法。

60 条精选近 30 天 33 条共收录 269 条

更新

精选归档 · 第 3 页

10月14日周三第 41–60 条
  1. ComfyUI Wiki · 工作流与开源创作分享66

    ComfyUI-Drama3 把 Fish Audio Drama 3 做成 ComfyUI 节点,8GB 显存可跑 35B 语音模型

    ComfyUI-Drama3 将 Fish Audio 的 35B 混合专家语音模型 Drama 3 与 Qwen3-ASR 打包成 ComfyUI 自定义节点,无需额外安装依赖,专家权重放在系统内存、经显存缓存流式读取,8GB 显存即可运行。

    推荐理由:把 35B 语音模型塞进 8GB 显存卡,并给出四种量化版本与逐帧实测数据,可据此判断本地出片是否可行。

  2. Fish Speech 官方发布72

    Fish Audio 发布开源语音生成模型 Drama 3 预发布版

    Fish Audio 发布开源语音生成模型 Drama 3 预发布版,可将文本转为带表演的语音。模型采用 35B-A3B 混合线性注意力 MoE 主干(由 Qwen3.5 初始化)与新的 codebook-MTP 音频解码器,预训练覆盖约 80 种语言和方言、数千亿 token,支持多参考声音克隆、自然语言指令、多轮改稿、多角色场景、语音填充编辑与长音频和流式合成。

    推荐理由:开源语音模型把多角色场景、多轮改稿与语音编辑放进同一模型,配音工作流可据此评估替换空间。

10月13日周二
  1. ComfyUI Wiki · 工作流与开源创作分享78

    Fish Audio 发布 Drama 3 语音合成模型,支持 16 角色与自然语言表演指令

    Fish Audio 于 2026 年 10 月 13 日发布新一代语音合成模型 Drama 3,为开放权重的 35B MoE 模型,每 token 激活 3B。

    推荐理由:35B 开源语音模型支持 16 角色同轨生成与自然语言表演指令,可对照其发音鲁棒性数据评估配音与有声书流程。

10月11日周日
  1. z-ab · 开源短剧与创作项目分享71

    OpenBMB 发布 VoxCPM2:无 tokenizer 的 TTS 模型,支持 30 种语言与声音设计

    OpenBMB 发布 VoxCPM2,砍掉主流 TTS 的离散 token 量化环节,改用扩散自回归架构在连续音频隐空间生成语音,仓库 38.7k Star、Apache-2.0 协议、权重代码全开可商用。

    推荐理由:VoxCPM2 去掉离散 token 量化,改在连续隐空间生成语音,并给出从本地到生产的多种部署路径。

  2. Kapwing 创作指南62

    如何用 AI 制作 Vox 风格拼贴动画:分步指南

    Kapwing 发布分步指南,讲解如何用 AI 生成 Vox 风格拼贴动画纪录片,流程分为写脚本、拆分视觉节拍、生成拼贴图像、逐帧动画、生成配音和剪辑成片六步。

    推荐理由:完整拆解 Vox 拼贴风纪录片的六步 AI 工作流,含可复用的图像与动画 Prompt,适合想复刻该视觉风格的创作者参考。

10月10日周六
  1. note · ryosuke_blog_ · 图像视频创作分享65

    用 Claude 操作 Seedance 2.5 生成视频的完整流程

    作者安田亮介公开了自己用 Claude 桌面端配合 Claude in Chrome 操作 Seedance 2.5 生成视频的四步流程:先用 ChatGPT 做角色表、准备小物与声音素材,再写清人物、场景、动作、镜头、台词读音、负面提示和竖横比画质秒数,然后交给 Claude 自动操作 Yapper 平台生成,最后逐条反馈修改。

    推荐理由:作者公开了自己用 Claude 操作 Seedance 2.5 出片的完整四步流程,含角色表、口型与成本明细,可迁移到自己的生成工作流。

  2. GitHub:AI视频开源项目发现71

    Sitor AI 开源 Frametell:一句话或一份文档生成 1080p 解说视频

    Sitor AI 在 GitHub 开源 Frametell(帧言),可将一句话、文档、PDF、幻灯片或图片转成带字幕的 1080p 解说视频。流程由导演智能体先出分镜供确认,再写旁白、用 ElevenLabs(中文用火山引擎 TTS)配音、逐页绘制并自检,内置 warm-story、study、chalkboard、whiteboard、tech-dark 五种风格。

    推荐理由:开源本地运行的解说视频生成工具,先出分镜待确认再配音渲染,创作者可据此评估是否纳入出片流程。

10月9日周五
  1. Synthesia · 官方博客62

    Synthesia 发布 Syren:一句提示词生成视频与动态图形

    Synthesia 以 beta 形式发布 AI 视频创作工具 Syren,输入提示词、预设或已有品牌文档、图片、视频、PPT、YouTube 链接,即可生成含动态图形、动画、数字人、配音、音乐和 b-roll 的成片,并可在对话中修改。

    推荐理由:Synthesia 把视频生成做成对话式智能体,可对照其与现有编辑器在精确内容场景上的分工。

10月5日周一
  1. GitHub:AI视频开源项目发现82

    Kandinsky 6.0 开源发布:同步音频视频生成模型,含 Lite 与 Pro 两档

    kandinskylab 发布 Kandinsky 6.0 Video 系列扩散模型,包含 3B 参数的 Lite 和 29B 参数的 Pro,可生成 5 秒带 44 kHz 同步音频(含对口型)的视频,支持文生音视频与图生音视频,并配有超分模型将输出提升至 Full HD(1920×1080)。

    推荐理由:Kandinsky 6.0 开源了带同步音频与对口型的视频生成模型,并给出各档显卡的实测耗时,方便创作者评估本地部署成本。

10月1日周四
  1. Suno 官方博客62

    Suno 发布 Speech 音频模型 beta,可同时生成人声与音乐

    Suno 发布 Speech beta,这是其首个将人声与音乐作为一条完整音轨一起生成的音频模型。用户输入想法、诗歌或已有文字,再描述想要的音色与音乐风格,即可生成配原创背景音乐的语音内容。该模型已向全体用户开放 beta,此前已在小范围用户中测试一个月,官方称英式口音偶尔会漂移到澳式等效果仍待改进。

    推荐理由:Suno 把语音与背景音乐合成到同一条音轨,做短剧旁白或配音的创作者可以据此评估新的出片方式。

9月29日周二
  1. DramaClip · 公开创作工具发布80

    DramaClip v0.2.0 首个公开版发布,导入短剧批量产出推广短视频

    DramaClip v0.2.0 首个公开版发布,导入一部几十集短剧后可批量产出可直接发布的推广短视频,媒体处理全部在本机完成。该版本用 OCR 与 ASR 融合转写并借硬字幕逐字校正,实测 60% 段落被修正,同时以 CAM++ 声纹聚类做说话人分离。

    推荐理由:本地完成转写、解说文案与音色克隆的短剧推广成片工具,可看其九种出片模式与剪口对齐思路。

9月25日周五
  1. GitHub:AI视频开源项目发现78

    SeeCut:给 coding agent 用的数字人口播自动精剪 skill 开源

    YeJe-cpu 在 GitHub 开源 SeeCut,一个给 Claude Code 等 coding agent 用的 skill,把数字人或真人口播素材自动精剪成带动效的竖屏短视频,并可选推成剪映分层草稿微调。

    推荐理由:作者开源了一套可复用的口播精剪 skill,含数字人配音与剪映草稿交付的完整流程。

9月23日周三
  1. Google DeepMind72

    Google 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音合成模型,前者面向角色设计与逐句表演指导,后者面向高体量、低成本的配音与语音智能体场景。

    推荐理由:两款 TTS 模型把声音生成从固定预设变成可逐句导演的创作流程,配音与有声书团队可据此评估迁移。

  2. Cartesia 官方博客62

    Cartesia 推出 Multilingual Voices,50+ 音色原生支持最多 25 种语言

    Cartesia 推出 Multilingual Voices,50+ 库内音色可原生说最多 25 种语言,并支持把自建声音克隆扩展为多语言。每个语言和口音由母语者按评分表打分,检查口音是否保持以及日期、数字、货币是否按当地读法处理。

    推荐理由:Cartesia 把同一音色扩展到 25 种语言,并支持用十秒音频克隆后追加多语言口音,做多语种配音的团队可据此评估替换现有流程。

9月10日周四
6月9日周二
4月16日周四
3月26日周四
12月13日周六
  1. Google DeepMind62

    Google 发布升级版 Gemini 2.5 Flash Native Audio,新增实时语音翻译

    Google 发布升级版 Gemini 2.5 Flash Native Audio,面向实时语音智能体,提升了复杂工作流处理、指令遵循和多轮对话能力,在 ComplexFuncBench Audio 上以 71.5% 领先,开发者指令遵循率从 84% 升至 90%。

    推荐理由:Gemini 2.5 Flash Native Audio 更新了函数调用、指令遵循与多轮对话能力,并新增实时语音翻译,可据此评估语音智能体与翻译场景的可用性。

9月21日周三