ElevenReader 登陆巴西:Fábio Porchat 配音,7 万本巴西葡语有声书上架
ElevenLabs 旗下音频平台 ElevenReader 在巴西上线,与 Bookwire Brasil 合作引入 7 万本巴西葡语授权图书,其中多数此前从未有有声版。
ElevenLabs 旗下音频平台 ElevenReader 在巴西上线,与 Bookwire Brasil 合作引入 7 万本巴西葡语授权图书,其中多数此前从未有有声版。
LALAL.AI、ElevenLabs、Descript、Fish Audio、TopMedi AI 和 Noiz AI 六款 AI 声音克隆工具被列为视频制作首选,其中 LALAL.AI 主打口音与音调控制,需 10–50 分钟样本训练 Voice Pack,Lite 年付 $7.50/月、Pro 年付 $15/月。
pyvideotrans 发布 v4.15 Windows 预打包版本,MacOS/Linux 需源码部署。新版更新 Deepgram.com 渠道模型并增加语音合成支持,更新 Elevenlabs.io 模型并移除将被废弃的模型,同时在高级选项中新增字幕配音静音缓冲移除与力度调节。此外新增 Audexum 语音识别渠道、Infistar 翻译渠道及阿塞拜疆语支持。
HeyGen Voices 现已支持 ElevenLabs v4,官方称这是 ElevenLabs 目前表现力最强的文本转语音模型。v4 在朗读脚本时更接近配音演员的表达,长脚本的节奏与语气能从头保持到尾,重复重新生成同一句仍保持同一音色。使用时在 Voices 中选择音色并选用 ElevenLabs v4 即可。
Google 9 月发布前沿模型 Gemini 4 Argon,具备 100 万 token 输出上限,主打高级推理与网络安全防御,目前通过 Fairwind Program 向可信网络安全人员分批开放。
Suno 发布 Speech beta,这是其首个将人声与音乐作为一条完整音轨一起生成的音频模型。用户输入想法、诗歌或已有文字,再描述想要的音色与音乐风格,即可生成配原创背景音乐的语音内容。该模型已向全体用户开放 beta,此前已在小范围用户中测试一个月,官方称英式口音偶尔会漂移到澳式等效果仍待改进。
推荐理由:Suno 把语音与背景音乐合成到同一条音轨,做短剧旁白或配音的创作者可以据此评估新的出片方式。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音合成模型,前者面向角色设计与逐句表演指导,后者面向高体量、低成本的配音与语音智能体场景。
推荐理由:两款 TTS 模型把声音生成从固定预设变成可逐句导演的创作流程,配音与有声书团队可据此评估迁移。
YouTube 在 Made on YouTube 活动上发布一批新工具,覆盖创作、直播与变现。Shorts 和 YouTube Create 应用新增对话式剪辑工具,YouTube Studio 支持视频 A/B 测试,最多可对比三个版本;Live 新增直播对决、实时自动配音, likeness detection 将登陆手机端。
Cartesia 推出 Multilingual Voices,50+ 库内音色可原生说最多 25 种语言,并支持把自建声音克隆扩展为多语言。每个语言和口音由母语者按评分表打分,检查口音是否保持以及日期、数字、货币是否按当地读法处理。
推荐理由:Cartesia 把同一音色扩展到 25 种语言,并支持用十秒音频克隆后追加多语言口音,做多语种配音的团队可据此评估替换现有流程。
pyvideotrans v4.13 发布 Windows 预打包版,模型下载失败后自动重试,并优化 whisper 模型识别后的重断句算法。该版本完善硅基流动、Minimax、OpenRouter 的语音识别、字幕翻译与语音合成模型支持,新增豆包语音合成 2.0 配音角色,并重构设置窗口与菜单架构。Qwen-TTS、Higgs 等本地配音渠道放弃 8 位量化,媒体合并功能新增暂停按钮。
WellSaid 官方博客发布指南,介绍如何用 AI 语音完成营销活动的本地化。流程包括准备本地化脚本、按市场选择带地区口音与方言的语音、生成并试听配音、调整发音与节奏,再逐市场复用同一套创意方向。AI 语音让团队无需为每次脚本修改重新安排录音,把时间与预算从协调录音转移到比较与打磨版本上。
Descript 发布 9 月更新,字幕新增 18 个预设与 10 个文字动画,并支持搜索过滤;AI 可按描述生成背景音乐与音效,需升级至 145.0.15 或更新版本。结账新增 Apple Pay、Google Pay、Cash App 等支付方式并显示本地货币,语音库改用 ElevenLabs,跳剪平滑改为按秒计费(音频 0.5 AI 积分/秒、视频 1.0/秒)。
Epidemic Sound 与牛津大学 VGG 合作推出音频-文本检索框架 AuroLA,基于开源 Qwen2.5-Omni-7B,将多模态大模型同时用作快速检索与精排骨干,在所有测试基准上超越此前最优,训练数据量约为同类系统的 1%。该框架已投入生产,支撑 Epidemic Sound 的音效搜索,并开源了 1,297 条人工标注音效验证基准,采用 CC BY-NC-ND 4.0 许可。
Cartesia 官方博客指出,TTS 模型与它使用的音色是两个独立概念,音色更像输入而非模型本身。固定说话人模型只接收文本,多说话人模型可额外选择预设音色,零样本克隆模型则接受 10 到 60 秒参考音频作为提示,Cartesia 的 Sonic 端到端模型即支持 Instant Voice Cloning。专业声音克隆(PVC)需用更大录音数据集微调模型,耗时可达数小时。
OpenAI 在 API 中推出 GPT-Live-1,支持自然的全双工语音对话。该模型在指令遵循上有所增强,并支持自定义音色与电话通信能力。
推荐理由:OpenAI 把全双工语音对话能力开放到 API,开发者可据此评估语音交互产品的接入方式。
NVIDIA 发布 Magpie TTS Multilingual 开放权重模型,参数量 364M,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升多语言合成质量。
语音 AI 评测基准 Real World VoiceEQ 发布,覆盖 40 多个主流闭源与开源语音模型、15+ 评估维度和 60 多项指标,涵盖 ASR、TTS、S2S 与语音理解。该基准基于超 100 万条人工评分构建,含 785,000 条 TTS 评分和 48,000 条 STS 评分。评测显示 TTS 中没有任何系统配置在全部八个能力组均进入前五,语音模型"会说"强于"会听"。
Hugging Face 与 Cerebras 联合演示了一套实时语音到语音流水线,用 Cerebras 加速 Gemma 4 31B 推理,语音识别用 Nvidia 的 Parakeet,语音合成用阿里 Qwen3TTS,各层模块化且开源可替换。
Google 发布音频模型 Gemini 3.5 Live Translate,支持 70+ 语言的近实时语音到语音翻译,能自动检测语言并保留说话人的语调、节奏和音高。
推荐理由:Gemini 3.5 Live Translate 把同传延迟压到几秒并支持 70+ 语言,开发者可据此评估实时配音与会议翻译方案。
OpenAI 在 API 中推出新的实时语音模型,可进行推理、翻译和语音转写,以支持更自然、更智能的语音体验。
OpenAI 重建了其 WebRTC 技术栈,以支撑实时语音 AI 的低延迟、全球规模化与流畅的对话轮次切换。
Google 发布 Gemini 3.1 Flash TTS,称其为目前最自然、表现力最强的语音模型,在 Artificial Analysis TTS 榜单上取得 1,211 Elo 分。
推荐理由:Gemini 3.1 Flash TTS 引入音频标签与多说话人对话,开发者可据此评估语音生成的可控性提升。
Google 发布 Gemini 3.1 Flash Live,称其为目前质量最高的音频与语音模型,具备更高精度和更低延迟。
推荐理由:Gemini 3.1 Flash Live 在语音交互的延迟、长程推理与多语言上给出可对比的基准数据,开发者可据此评估语音智能体的落地。
Descript 借助 OpenAI 推理模型实现大规模多语言视频配音,可自动完成大型内容库的本地化,同时保留原有时间轴与语义。
Google 发布升级版 Gemini 2.5 Flash Native Audio,面向实时语音智能体,提升了复杂工作流处理、指令遵循和多轮对话能力,在 ComplexFuncBench Audio 上以 71.5% 领先,开发者指令遵循率从 84% 升至 90%。
推荐理由:Gemini 2.5 Flash Native Audio 更新了函数调用、指令遵循与多轮对话能力,并新增实时语音翻译,可据此评估语音智能体与翻译场景的可用性。
Hugging Face 博客提出“声音同意门”机制,让声音克隆只有在说话人亲口说出同意语句并被 ASR 识别后才启动,并给出示例 Space 与配套代码。演示中由语言模型为每次授权生成一对句子,一句明确表达同意、一句提供语音多样性,使同意成为可追溯、可审计的系统前置条件。
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型在 Arm CPU 上构建了一款本地实时音效生成工具,无需 GPU 和云端推理,几秒内即可根据文字提示生成 .wav 文件并直接导入 Ableton Live。
Hugging Face 在 Inference Endpoints 上线新版 OpenAI Whisper 部署方案,基于 vLLM 实现,RTFx 较此前版本提升近 8 倍,转录质量无损。
OpenAI 在 API 中推出新一代音频模型,开发者首次可以指示文本转语音模型以特定方式说话,例如“像一位有同理心的客服人员那样说话”,为语音智能体带来新的定制能力。
Hugging Face 的 Speech-to-Speech(S2S)项目通过 VAD、STT、语言模型和 TTS 组成的级联管线实现语音对话,支持英语、法语、西班牙语、中文、日语和韩语,可单语言运行或用 auto 标志自动检测语言。
OpenAI 发文详解其文本转语音模型 Voice Engine 的技术原理与安全研究。Voice Engine 可根据文本生成语音,官方同时介绍了围绕该模型开展的安全研究工作。
OpenAI 分享了自定义语音模型 Voice Engine 小规模预览的经验教训。该模型可根据文本创建定制声音,目前仅处于小范围测试阶段。
Hugging Face 发布 TTS Arena,一个借鉴 LMSys Chatbot Arena 的文本转语音模型对比工具,用户输入文本、试听两个模型的合成语音后投票选出更自然的一方,结果汇入公开排行榜。
Hugging Face 博客介绍如何在 Diffusers 中使用 AudioLDM 2,通过半精度、flash attention、torch.compile 与更换 scheduler 等优化,把 10 秒音频的生成时间从 14 秒降到 1 秒以内,音质下降很小。
基于 🤗 Transformers、Optimum 和 Accelerate,可通过三项优化降低 Bark 文本转语音模型的显存占用并提升推理速度。Bark 由 Suno AI 提出,自 Transformers v4.31.0 起支持,包含语义、粗声学、细声学及 EnCodec 解码四个模型,提供 small 与 large 两个 checkpoint。
OpenAI 宣布训练并开源语音识别神经网络 Whisper,称其在英文语音识别上的鲁棒性和准确率接近人类水平。
推荐理由:OpenAI 开源语音识别模型 Whisper,其英文识别鲁棒性与准确率接近人类水平。