跳到正文
日期与来源

日期按北京时间的资讯列表日期计算,包含起止当天。

11月16日周一
  1. Zyphra · Zonos 语音模型66

    Zyphra 发布 ZONOS3-Mini 多语言 TTS 模型

    Zyphra 发布紧凑多语言 TTS 模型 ZONOS3-Mini,支持 43 种语言,约 1 亿活跃参数每 token,并提供原生 transformers 移植版本。该模型使用 ZAC-1 编解码器作为音频 tokenizer,内置 27 个发布音色,支持从短音频克隆声音,采用 Apache-2.0 许可证。

    推荐理由:ZONOS3-Mini 以原生 transformers 移植发布,支持 43 种语言与声音克隆,便于评估其作为多语言 TTS 基线的适用性。

11月10日周二
  1. Zyphra · Zonos 语音模型65

    Zyphra 发布开源语音模型 ZONOS3-Mini

    Zyphra 发布开源紧凑语音模型 ZONOS3-Mini,约 100M 活跃参数,可在手机、笔记本和浏览器实时运行。模型支持从音频样本克隆声音、按年龄/口音/音色设计角色,并逐词控制情绪、语速与表达。权重以 Apache 2.0 开源,可通过 SGLang-Omni 在 NVIDIA GPU 上以 OpenAI 兼容接口服务。

    推荐理由:100M 活跃参数即可在浏览器实时合成语音,为本地化配音与角色语音提供可本地运行的开源方案,支持声音克隆与逐词情绪控制。

11月7日周六
  1. z-ab · 开源短剧与创作项目分享74

    OpenBMB 开源 VoxCPM2:30 种语言、48kHz 音质、声音设计与克隆全免费

    清华 OpenBMB 团队开源 VoxCPM2 语音合成模型,20 亿参数、支持 30 种语言与 48kHz 音质,Apache-2.0 许可免费商用。模型采用扩散自回归零 Tokenizer 架构,支持自然语言声音设计、可控克隆与终极克隆,在 Seed-TTS-eval 基准中英文 WER 1.84%、中文 CER 0.97%。

    推荐理由:开源 TTS 模型 VoxCPM2 以 Apache-2.0 许可免费商用,支持 30 种语言与 48kHz 音质,创作者可评估是否替代现有付费配音方案。

11月2日周一
  1. 电影界 · 短剧经营与内容趋势63

    腾讯混元开源同声传译模型Hy-SimulMT,实时克隆音色助力短剧出海译制

    腾讯开源混元同声传译大模型Hy-SimulMT,支持中英语音实时互译,可在翻译同时实时克隆说话人音色,实测响应约3秒,翻译质量达人类同传专家水平。该能力有望降低短剧出海译制成本,让多语种版本以低边际成本复制,中小团队无需为每个市场单独组建配音班底。

11月1日周日
10月30日周五
  1. ElevenLabs 产品与研究60

    ElevenLabs 推出 SFX v3 音效模型,上线 ElevenCreative 和 ElevenAPI

    ElevenLabs 推出 SFX v3 音效模型,现已上线 ElevenCreative 和 ElevenAPI。SFX v3 能更可靠地处理描述多种声音的提示,音乐与声乐生成更可信,音质比 SFX v2 更干净自然。创作者可在 Flows、Sound Effects 标签、Studio 和 Music Editor 中使用,开发者可通过 ElevenAPI 接入。

    推荐理由:SFX v3 改进了多声音提示跟随、音乐与声乐生成和音质,创作者可据此评估是否替换现有音效生成流程。

10月29日周四
  1. 可灵官方博客71

    Ami 谈 Kling 4.0 如何让微妙情感活起来

    可灵邀请创作者 Ami 用 Kling 4.0 制作短片《Tea When You Have Time》,她分享了 30 秒生成、Omni Reference 与多关键帧等新能力的使用体验。Kling 4.0 支持单次 30 秒生成、21:9 画幅、最多 10 个关键帧,12 个角色资产保持一致,粤语对白口型同步效果好,并支持多种方言与英语口音。

    推荐理由:创作者实测显示 Kling 4.0 在 30 秒长镜头、12 角色一致性与粤语口型同步上表现稳定,可据此评估升级。

10月28日周三
10月25日周日
  1. SuSu_酥酥64

    Block 发布全双工语音模型 Dessa,可在 M4 Max Mac 本地实时运行

    Jack Dorsey 的 Block 发布全双工语音模型 Dessa,官方称其为迄今最逼真的全双工语音模型,对话带有情绪、停顿与自然节奏。该模型从零开始只用人类对话录音训练,未使用文本或预训练模型,可在 M4 Max Mac 或更高配置上实时运行,训练使用一台 NVIDIA GB200 NVL72。目前仅向安全研究员开放内测,公开访问设有 waitlist。

10月23日周五
  1. MindStudio Blog · 创作分享75

    LTX 2.5 开源权重发布:22B 视频模型可自行下载运行

    Lightricks 在 Hugging Face 发布 LTX 2.5 开源权重,这是一个 22B 参数的扩散模型,可下载到自有 GPU 运行,同时提供 dev 完整版与蒸馏加速版,以及 bf16、int8、nvfp4 量化格式。

    推荐理由:Lightricks 把 22B 视频模型连同音频与多镜头能力一起开源,文中拆解了下载包各组件与自托管门槛。

  2. MindStudio Blog · 创作分享78

    LTX 2.5 解析:支持同步音频与原生多镜头的开放权重视频模型

    LTX 2.5 是一个开放权重的 AI 视频模型,音视频在同一次生成中产出,并支持单次生成内包含多个连贯镜头。模型提供标准版与蒸馏版,权重可下载,能通过托管 API 调用,也能部署在自有 GPU 上;官方称新的扩散视频解码器改善了人脸、纹理、画面文字与快速运动的表现。文章还记录了在远程 Nvidia GPU 上自托管运行、用对话镜头测试对口型与面部一致性的过程。

    推荐理由:文章拆解了 LTX 2.5 音视频同源生成、原生多镜头与可自托管三项特性,便于判断开放权重视频模型的实际边界。

10月22日周四
  1. Hugging Face Daily Papers38

    RubatoCodec:带预算的自适应语音分词与流式解码

    RubatoCodec 是基于 X-Codec-2 的可变帧率语音编解码器,通过 utterance 级事件预算和流式解码实现自适应分词。其 Adaptive Firing 机制利用编解码特征与波形频谱变化划分变长事件,无需学习边界预测器。在低事件率下重建保真度和可懂度优于固定帧率编码,英日基准上可懂度保持最佳,匹配 TTS 对比中 WER 更低、UTMOS 与 UTMOSv2 更高。

10月21日周三
  1. ComfyUI Wiki · 工作流与开源创作分享81

    FastVideo 发布 FastH3 Omni:MiniMax H3 参考条件化变体,8 步生成带声视频

    FastVideo 发布 FastH3 Omni,这是 MiniMax H3 的参考条件化变体,提示词加有序的图片、视频和音频参考可生成带同步声音的片段,只需 8 次 transformer 评估而非基础 H3 的 50 次。

    推荐理由:FastH3 Omni 把参考图、视频与音频统一进一条生成链路,并给出与基础 H3 的逐项耗时对比,便于评估本地部署成本。

  2. FastVideo 视频模型 · 模型发布80

    FastVideo 发布 FastH3 Omni 的 ComfyUI 版本模型权重

    FastVideo 发布 FastH3 Omni 最终版的 ComfyUI 可用权重,提供 BF16 与 INT8 ConvRot 两种扩散模型,可根据提示词和有序的图片、视频、音频参考生成视频与同步音频。

    推荐理由:FastH3 Omni 放出 ComfyUI 可用的 BF16 与 INT8 权重,并给出参考图、视频、音频的接入方式,便于创作者评估本地出片流程。

10月20日周二
  1. IT之家68

    蚂蚁百灵开源 Ming-3.0 语音系列模型,覆盖语音合成、音频理解与对话、语音识别

    蚂蚁百灵开源 Ming-3.0 语音系列,包含语音合成、音频理解与对话、语音识别三个系列共五款模型,开发者可按任务选择或组合进工作流。Ming-3.0-tts 的 Voice Design 支持用文字描述目标音色,也可用参考音频设定音色,导演模式可说明台词的表演方式、情绪变化、重读词与节奏处理。

    推荐理由:Ming-3.0 把语音合成、音频理解与识别拆成五个模型,其中导演模式可用文字描述台词的表演方式。

  2. CGPress72

    Mirelo 发布 SFX 2.0 视频转音效模型

    柏林 AI 研究团队 Mirelo 发布视频转音效模型 SFX 2.0,可在不重新生成画面的情况下改动视频音频,保留对白、去除未指定的音乐,并生成与动作同步、跨剪辑点连贯的音效、拟音与环境声。

    推荐理由:视频转音效模型更新,可在不改动画面的前提下重做音轨,并已接入剪辑软件与第三方平台。

10月17日周六
  1. FastVideo 视频模型 · 模型发布60

    FastVideo 发布 FastH3-QAD-v2 视频音频模型

    FastVideo 发布 FastH3-QAD-v2,这是一个 8 步视频与音频模型,采用 NVFP4 权重和量化感知蒸馏(QAD)训练,可在单张 Blackwell GPU(RTX 5090、RTX PRO 6000)或 DGX Spark 上运行。

    推荐理由:8 步视频与音频模型以 NVFP4 量化权重落到单张 Blackwell 显卡,并给出与 BF16 教师模型的误差数据。

  2. Hugging Face Daily Papers38

    UniAVC:通过渐进训练与非对称调度实现统一音视频创作

    UniAVC 用单一模型权重实现文本条件联合生成、双向跨模态生成与指令引导编辑,无需任务专用适配器。它先在单模态数据上训练各分支至完整生成与编辑能力,再把配对数据用于跨模态对应关系;模态解耦调度器从共享时间步独立变换噪声调度,并以单模态干净样本直接监督非对称配置。由此支持意图感知编辑与推理后自优化,仅重生成不满意的一侧。

10月15日周四
  1. HeyGen Updates78

    HeyGen 发布 HeyGen Voice 语音模型

    HeyGen 发布新语音模型 HeyGen Voice,称其为首个为视频适配而构建的语音模型,并在 Artificial Analysis 语音榜单排名第一,已包含在每条 HeyGen 视频中且不额外收费。

    推荐理由:HeyGen 推出首个面向视频适配的语音模型,创作者可据此评估配音与多语言口型流程的替换空间。

10月14日周三
  1. Fish Speech 官方发布72

    Fish Audio 发布开源语音生成模型 Drama 3 预发布版

    Fish Audio 发布开源语音生成模型 Drama 3 预发布版,可将文本转为带表演的语音。模型采用 35B-A3B 混合线性注意力 MoE 主干(由 Qwen3.5 初始化)与新的 codebook-MTP 音频解码器,预训练覆盖约 80 种语言和方言、数千亿 token,支持多参考声音克隆、自然语言指令、多轮改稿、多角色场景、语音填充编辑与长音频和流式合成。

    推荐理由:开源语音模型把多角色场景、多轮改稿与语音编辑放进同一模型,配音工作流可据此评估替换空间。

10月13日周二
  1. ComfyUI Wiki · 工作流与开源创作分享78

    Fish Audio 发布 Drama 3 语音合成模型,支持 16 角色与自然语言表演指令

    Fish Audio 于 2026 年 10 月 13 日发布新一代语音合成模型 Drama 3,为开放权重的 35B MoE 模型,每 token 激活 3B。

    推荐理由:35B 开源语音模型支持 16 角色同轨生成与自然语言表演指令,可对照其发音鲁棒性数据评估配音与有声书流程。

10月5日周一
  1. GitHub:AI视频开源项目发现82

    Kandinsky 6.0 开源发布:同步音频视频生成模型,含 Lite 与 Pro 两档

    kandinskylab 发布 Kandinsky 6.0 Video 系列扩散模型,包含 3B 参数的 Lite 和 29B 参数的 Pro,可生成 5 秒带 44 kHz 同步音频(含对口型)的视频,支持文生音视频与图生音视频,并配有超分模型将输出提升至 Full HD(1920×1080)。

    推荐理由:Kandinsky 6.0 开源了带同步音频与对口型的视频生成模型,并给出各档显卡的实测耗时,方便创作者评估本地部署成本。

10月2日周五
10月1日周四
  1. Suno 官方博客62

    Suno 发布 Speech 音频模型 beta,可同时生成人声与音乐

    Suno 发布 Speech beta,这是其首个将人声与音乐作为一条完整音轨一起生成的音频模型。用户输入想法、诗歌或已有文字,再描述想要的音色与音乐风格,即可生成配原创背景音乐的语音内容。该模型已向全体用户开放 beta,此前已在小范围用户中测试一个月,官方称英式口音偶尔会漂移到澳式等效果仍待改进。

    推荐理由:Suno 把语音与背景音乐合成到同一条音轨,做短剧旁白或配音的创作者可以据此评估新的出片方式。

9月25日周五
  1. AI Business42

    Google 为 Gemini 3.8 新增 TTS 模型,强化语音 AI 能力

    Google 于 9 月 23 日推出 Gemini 3.8 TTS 与 Gemini 3.8 Flash-Lite TTS,称其为目前能力最强的音频生成模型。前者面向创意方向与角色设计,可用自然语言提示从零生成新声音,覆盖游戏、有声书、播客等场景,并支持超过 100 种语言和方言的角色、口音与声音特征定制;后者用于 AI 配音、内容创作和语音智能体。

9月23日周三
  1. Google DeepMind72

    Google 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音合成模型,前者面向角色设计与逐句表演指导,后者面向高体量、低成本的配音与语音智能体场景。

    推荐理由:两款 TTS 模型把声音生成从固定预设变成可逐句导演的创作流程,配音与有声书团队可据此评估迁移。

9月21日周一
  1. GitHub:AI视频开源项目发现62

    腾讯混元开源 Prism:面向原生 2K 联合视频音频生成的动态稀疏注意力

    腾讯混元联合复旦大学、浙江大学提出 Prism,一个用于原生训练 2K 联合视频音频生成模型的动态稀疏注意力框架,将 token 序列组织为时空宏区块并按局部内容动态分配块形状,训练速度相比全注意力提升 2.5 倍且生成质量更高。

9月15日周二
9月10日周四
6月9日周二
5月7日周四