AI 音效设计工具实测:InVideo 与 ChatGPT Astra 对比人工音效
Curious Refuge 用两个项目实测 InVideo 与 ChatGPT Astra 的 AI 音效设计,并与人工版本对比。InVideo 能识别部分音效位置但执行粗糙、音量不一致,ChatGPT Astra 结果更实用但同样未达专业水准;InVideo 耗时约两小时、花费 4.56 美元,ChatGPT Astra 约 1 小时 45 分钟、花费 5.20 美元。
Curious Refuge 用两个项目实测 InVideo 与 ChatGPT Astra 的 AI 音效设计,并与人工版本对比。InVideo 能识别部分音效位置但执行粗糙、音量不一致,ChatGPT Astra 结果更实用但同样未达专业水准;InVideo 耗时约两小时、花费 4.56 美元,ChatGPT Astra 约 1 小时 45 分钟、花费 5.20 美元。
第16届中国金鹰电视艺术节首次设立微短剧荣誉单元,欢娱影视旗下厂牌娱丸影视出品的《巨额的真相》获年度微短剧,签约演员刘擎获年度男演员。欢娱以"长短协同、人才共生"打法拉齐长剧与短剧制作标准,并已推出"AI万象剧库",与小云雀AI、即梦AI合作三部AI剧集概念片,全平台播放及讨论量破千万。
作者对 Kling 4 早期访问版做了实测,目前仅开放 Flash 模型、输出 720p,面向年度套餐的 Ultra 订阅用户,更大模型计划 10 月推出。测试显示 Kling 4 似乎解决了 3.0 的对口型漂移问题,关键帧参考最多支持十个,但表演略显平淡。
Suno 发布 Speech beta,这是其首个将人声与音乐作为一条完整音轨一起生成的音频模型。用户输入想法、诗歌或已有文字,再描述想要的音色与音乐风格,即可生成配原创背景音乐的语音内容。该模型已向全体用户开放 beta,此前已在小范围用户中测试一个月,官方称英式口音偶尔会漂移到澳式等效果仍待改进。
推荐理由:Suno 把语音与背景音乐合成到同一条音轨,做短剧旁白或配音的创作者可以据此评估新的出片方式。
9月互联网大厂专利密集公布:B站申请直播互动专利,用大模型结合弹幕生成虚拟评委点评;网易申请群组管理专利,群主写下群规后系统自动解析并实时警告、禁言。优酷布局剧本一键拆分镜与视频角色表情编辑,百度文心大模型多智能体自动写稿改稿,阿里通义万相加速AI生图,快手可图分层诊断文生图短板。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
DramaClip v0.2.0 首个公开版发布,导入一部几十集短剧后可批量产出可直接发布的推广短视频,媒体处理全部在本机完成。该版本用 OCR 与 ASR 融合转写并借硬字幕逐字校正,实测 60% 段落被修正,同时以 CAM++ 声纹聚类做说话人分离。
推荐理由:本地完成转写、解说文案与音色克隆的短剧推广成片工具,可看其九种出片模式与剪口对齐思路。
VIBE 中超过半数视频模型可生成音频,分为始终开启原生音频、可开关音频、支持上传自有录音三类。Sora 2、WAN 2.6/2.7、Veo 3 Fast、Seedance 2.5 等始终出音;Veo 3.1、Kling 3、PixVerse 6 等带音频开关;WAN 2.7、PRUNA V、Talking Avatar 可接受用户上传的语音或音乐文件。
原创微短剧《失落的航海图》9月24日在央视频客户端及抖音、红果、爱奇艺、优酷等平台上线,由中央广播电视总台央视频与泉州市委宣传部联合出品。该剧为“东方第一大港”首季微短剧三部曲第二部,采用“横屏版+竖屏版”同步摄制,横屏版共30集,以元代航海家汪大渊及《岛夷志略》为依托,围绕泉州籍青年AI科学家研发的智能模型“致远”复原失传古籍、推演历史真相展开。
静态漫剧工具 v0.8.1 新增静帧剪辑,可从关键帧、配音直接剪成成片,支持静帧与视频混剪、推拉平移、按速度连续运镜及跨切点配音字幕。视频提示词新增参考音频字段,与视觉设定中的角色声音参考对账,生产时编译为 reference_audio,且必须绑定本镜说话人物。本版还按小样本实测补充反应镜、双人接触、关键帧画风与 TTS 语气等写法,结论限于记录中的样本与条件。
Runway 宣布 ElevenLabs v4 已在其平台上线,该模型在旁白和角色对白上具备更强的表现力与更自然的语调。v4 即日起与 Runway 的图像和视频模型一同提供,官方给出试用链接。
mlx-audio 发布 v0.5.7,由 lucasnewman 提交,自上一版本以来 main 分支累计 56 次提交。本次更新将版本号升至 0.5.7,并移除了多余的 soundfile 引用。
VideoLingo v3.1.1 发布,新增 Fish Audio 官方配音 Provider,默认使用 s2.1-pro 模型,可从原视频 15–30 秒语音克隆音色且不在账户中保存声音。
AI FREAK 分享在AI动画中统一角色声音的两种做法,一是先用音读さん或ElevenLabs生成声音再用Kling、HeyGen做口型同步,二是在Seedance 2.5生成视频时把台词写进提示词一起生成。作者在自制3DCG动画《BRAIN BUSTERS》中采用第二种,但同一角色在不同镜头仍会出现音色变化,因此把角色特征连同声色写到约800字来固定声音。
YeJe-cpu 在 GitHub 开源 SeeCut,一个给 Claude Code 等 coding agent 用的 skill,把数字人或真人口播素材自动精剪成带动效的竖屏短视频,并可选推成剪映分层草稿微调。
推荐理由:作者开源了一套可复用的口播精剪 skill,含数字人配音与剪映草稿交付的完整流程。
bestagentkits 在 GitHub 开源 motion-video-skill,这是一个让 Agent 生成节拍同步动态图形视频的技能,输出 1920×1080、30 fps,画面切点落在音乐节拍上、揭示动画落在旁白词上。
你的 Grok Bots 现在变成了制作工作室。将它们连接到 Pika API,它们就能通过一个 API key 使用 120+ 模型生成图像、视频和音频:Seedance 2.5、Wan 3.0、GPT-image-2 等。
Google 于 9 月 23 日推出 Gemini 3.8 TTS 与 Gemini 3.8 Flash-Lite TTS,称其为目前能力最强的音频生成模型。前者面向创意方向与角色设计,可用自然语言提示从零生成新声音,覆盖游戏、有声书、播客等场景,并支持超过 100 种语言和方言的角色、口音与声音特征定制;后者用于 AI 配音、内容创作和语音智能体。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音合成模型,前者面向角色设计与逐句表演指导,后者面向高体量、低成本的配音与语音智能体场景。
推荐理由:两款 TTS 模型把声音生成从固定预设变成可逐句导演的创作流程,配音与有声书团队可据此评估迁移。
YouTube 在 Made on YouTube 活动上发布一批新工具,覆盖创作、直播与变现。Shorts 和 YouTube Create 应用新增对话式剪辑工具,YouTube Studio 支持视频 A/B 测试,最多可对比三个版本;Live 新增直播对决、实时自动配音, likeness detection 将登陆手机端。
VIBE 教程给出用 AI 生成带同步音效的 ASMR 解压视频方法:选音频常开的模型、在一条提示词里同时描述材质与声音、用极特写固定机位、生成 4-8 秒单一动作片段以便循环。
Cartesia 推出 Multilingual Voices,50+ 库内音色可原生说最多 25 种语言,并支持把自建声音克隆扩展为多语言。每个语言和口音由母语者按评分表打分,检查口音是否保持以及日期、数字、货币是否按当地读法处理。
推荐理由:Cartesia 把同一音色扩展到 25 种语言,并支持用十秒音频克隆后追加多语言口音,做多语种配音的团队可据此评估替换现有流程。
腾讯混元联合复旦大学、浙江大学提出 Prism,一个用于原生训练 2K 联合视频音频生成模型的动态稀疏注意力框架,将 token 序列组织为时空宏区块并按局部内容动态分配块形状,训练速度相比全注意力提升 2.5 倍且生成质量更高。
pyvideotrans v4.13 发布 Windows 预打包版,模型下载失败后自动重试,并优化 whisper 模型识别后的重断句算法。该版本完善硅基流动、Minimax、OpenRouter 的语音识别、字幕翻译与语音合成模型支持,新增豆包语音合成 2.0 配音角色,并重构设置窗口与菜单架构。Qwen-TTS、Higgs 等本地配音渠道放弃 8 位量化,媒体合并功能新增暂停按钮。
剪映专业版(Windows 与 Mac 客户端)内置智能字幕,可把画面人声直接识别成一条字幕轨,适合本就要在剪映里精剪的素材。教程以一条八分钟产品讲解视频配中文字幕为例,实测智能字幕识别与字幕导出流程。
VIBE 的 Talking Avatar 模型只需一张正面照片和一段语音录音,即可生成 480p 或 720p 的对口型数字人口播视频,无需文本提示词,输出语言跟随录音。该模型按次计费,480p 为 35 tokens、720p 为 60 tokens,不随录音时长变化,且输出画幅锁定为上传照片的比例。
Wireflow 在 2026 年 UGC 视频生成器盘点中位列第一,其节点画布可串联 GPT Image 2.5 Flare、ElevenLabs、Kling Avatar 等图像、语音与视频模型,按模型调用付费而非按席位付费。
WellSaid 官方博客发布指南,介绍如何用 AI 语音完成营销活动的本地化。流程包括准备本地化脚本、按市场选择带地区口音与方言的语音、生成并试听配音、调整发音与节奏,再逐市场复用同一套创意方向。AI 语音让团队无需为每次脚本修改重新安排录音,把时间与预算从协调录音转移到比较与打磨版本上。
Descript 发布 9 月更新,字幕新增 18 个预设与 10 个文字动画,并支持搜索过滤;AI 可按描述生成背景音乐与音效,需升级至 145.0.15 或更新版本。结账新增 Apple Pay、Google Pay、Cash App 等支付方式并显示本地货币,语音库改用 ElevenLabs,跳剪平滑改为按秒计费(音频 0.5 AI 积分/秒、视频 1.0/秒)。
Creator Animation 提供站内 AI Film Studio,创作者可用预付积分直接生成多场景影片,并按 80/20 分成保留作品收入的 80%。平台无广告干扰与算法审核门槛,观众可免费观看,粉丝可购买 9 美元/月 Download Pass 离线保存,创作者起始免费存储为 10GB。
Epidemic Sound 与牛津大学 VGG 合作推出音频-文本检索框架 AuroLA,基于开源 Qwen2.5-Omni-7B,将多模态大模型同时用作快速检索与精排骨干,在所有测试基准上超越此前最优,训练数据量约为同类系统的 1%。该框架已投入生产,支撑 Epidemic Sound 的音效搜索,并开源了 1,297 条人工标注音效验证基准,采用 CC BY-NC-ND 4.0 许可。
阶跃发布 StepAudio 3 系列语音大模型,包含 Realtime、ASR、TTS、Gen 和 Music 五款,多款在 Artificial Analysis 榜单位列全球第一。
Cartesia 官方博客指出,TTS 模型与它使用的音色是两个独立概念,音色更像输入而非模型本身。固定说话人模型只接收文本,多说话人模型可额外选择预设音色,零样本克隆模型则接受 10 到 60 秒参考音频作为提示,Cartesia 的 Sonic 端到端模型即支持 Instant Voice Cloning。专业声音克隆(PVC)需用更大录音数据集微调模型,耗时可达数小时。
OpenAI 在 API 中推出 GPT-Live-1,支持自然的全双工语音对话。该模型在指令遵循上有所增强,并支持自定义音色与电话通信能力。
推荐理由:OpenAI 把全双工语音对话能力开放到 API,开发者可据此评估语音交互产品的接入方式。
NVIDIA 发布 Magpie TTS Multilingual 开放权重模型,参数量 364M,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升多语言合成质量。
语音 AI 评测基准 Real World VoiceEQ 发布,覆盖 40 多个主流闭源与开源语音模型、15+ 评估维度和 60 多项指标,涵盖 ASR、TTS、S2S 与语音理解。该基准基于超 100 万条人工评分构建,含 785,000 条 TTS 评分和 48,000 条 STS 评分。评测显示 TTS 中没有任何系统配置在全部八个能力组均进入前五,语音模型"会说"强于"会听"。
Hugging Face 与 Cerebras 联合演示了一套实时语音到语音流水线,用 Cerebras 加速 Gemma 4 31B 推理,语音识别用 Nvidia 的 Parakeet,语音合成用阿里 Qwen3TTS,各层模块化且开源可替换。
Google 发布音频模型 Gemini 3.5 Live Translate,支持 70+ 语言的近实时语音到语音翻译,能自动检测语言并保留说话人的语调、节奏和音高。
推荐理由:Gemini 3.5 Live Translate 把同传延迟压到几秒并支持 70+ 语言,开发者可据此评估实时配音与会议翻译方案。
OpenAI 在 API 中推出新的实时语音模型,可进行推理、翻译和语音转写,以支持更自然、更智能的语音体验。
OpenAI 重建了其 WebRTC 技术栈,以支撑实时语音 AI 的低延迟、全球规模化与流畅的对话轮次切换。