Google 发布 Gemini 3.1 Flash TTS 语音生成模型
Google 发布 Gemini 3.1 Flash TTS,称其为目前最自然、表现力最强的语音模型,在 Artificial Analysis TTS 榜单上取得 1,211 Elo 分。
推荐理由:Gemini 3.1 Flash TTS 引入音频标签与多说话人对话,开发者可据此评估语音生成的可控性提升。
Google 发布 Gemini 3.1 Flash TTS,称其为目前最自然、表现力最强的语音模型,在 Artificial Analysis TTS 榜单上取得 1,211 Elo 分。
推荐理由:Gemini 3.1 Flash TTS 引入音频标签与多说话人对话,开发者可据此评估语音生成的可控性提升。
Google 发布 Gemini 3.1 Flash Live,称其为目前质量最高的音频与语音模型,具备更高精度和更低延迟。
推荐理由:Gemini 3.1 Flash Live 在语音交互的延迟、长程推理与多语言上给出可对比的基准数据,开发者可据此评估语音智能体的落地。
Descript 借助 OpenAI 推理模型实现大规模多语言视频配音,可自动完成大型内容库的本地化,同时保留原有时间轴与语义。
Google 发布升级版 Gemini 2.5 Flash Native Audio,面向实时语音智能体,提升了复杂工作流处理、指令遵循和多轮对话能力,在 ComplexFuncBench Audio 上以 71.5% 领先,开发者指令遵循率从 84% 升至 90%。
推荐理由:Gemini 2.5 Flash Native Audio 更新了函数调用、指令遵循与多轮对话能力,并新增实时语音翻译,可据此评估语音智能体与翻译场景的可用性。
Hugging Face 博客提出“声音同意门”机制,让声音克隆只有在说话人亲口说出同意语句并被 ASR 识别后才启动,并给出示例 Space 与配套代码。演示中由语言模型为每次授权生成一对句子,一句明确表达同意、一句提供语音多样性,使同意成为可追溯、可审计的系统前置条件。
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型在 Arm CPU 上构建了一款本地实时音效生成工具,无需 GPU 和云端推理,几秒内即可根据文字提示生成 .wav 文件并直接导入 Ableton Live。
Hugging Face 在 Inference Endpoints 上线新版 OpenAI Whisper 部署方案,基于 vLLM 实现,RTFx 较此前版本提升近 8 倍,转录质量无损。
OpenAI 在 API 中推出新一代音频模型,开发者首次可以指示文本转语音模型以特定方式说话,例如“像一位有同理心的客服人员那样说话”,为语音智能体带来新的定制能力。
Hugging Face 的 Speech-to-Speech(S2S)项目通过 VAD、STT、语言模型和 TTS 组成的级联管线实现语音对话,支持英语、法语、西班牙语、中文、日语和韩语,可单语言运行或用 auto 标志自动检测语言。
OpenAI 发文详解其文本转语音模型 Voice Engine 的技术原理与安全研究。Voice Engine 可根据文本生成语音,官方同时介绍了围绕该模型开展的安全研究工作。
OpenAI 分享了自定义语音模型 Voice Engine 小规模预览的经验教训。该模型可根据文本创建定制声音,目前仅处于小范围测试阶段。
Hugging Face 发布 TTS Arena,一个借鉴 LMSys Chatbot Arena 的文本转语音模型对比工具,用户输入文本、试听两个模型的合成语音后投票选出更自然的一方,结果汇入公开排行榜。
Hugging Face 博客介绍如何在 Diffusers 中使用 AudioLDM 2,通过半精度、flash attention、torch.compile 与更换 scheduler 等优化,把 10 秒音频的生成时间从 14 秒降到 1 秒以内,音质下降很小。
基于 🤗 Transformers、Optimum 和 Accelerate,可通过三项优化降低 Bark 文本转语音模型的显存占用并提升推理速度。Bark 由 Suno AI 提出,自 Transformers v4.31.0 起支持,包含语义、粗声学、细声学及 EnCodec 解码四个模型,提供 small 与 large 两个 checkpoint。
OpenAI 宣布训练并开源语音识别神经网络 Whisper,称其在英文语音识别上的鲁棒性和准确率接近人类水平。
推荐理由:OpenAI 开源语音识别模型 Whisper,其英文识别鲁棒性与准确率接近人类水平。