跳到正文

创作方向

配音与音频 最新动态

AI 语音的进展:配音、声音克隆、多情绪朗读与短剧有声化的工具和方法。

60 条精选近 30 天 33 条共收录 269 条

更新

精选归档 · 第 2 页

10月30日周五第 21–40 条
  1. ElevenLabs 产品与研究60

    ElevenLabs 推出 SFX v3 音效模型,上线 ElevenCreative 和 ElevenAPI

    ElevenLabs 推出 SFX v3 音效模型,现已上线 ElevenCreative 和 ElevenAPI。SFX v3 能更可靠地处理描述多种声音的提示,音乐与声乐生成更可信,音质比 SFX v2 更干净自然。创作者可在 Flows、Sound Effects 标签、Studio 和 Music Editor 中使用,开发者可通过 ElevenAPI 接入。

    推荐理由:SFX v3 改进了多声音提示跟随、音乐与声乐生成和音质,创作者可据此评估是否替换现有音效生成流程。

  2. Reddit comfyui · 创作与工作流分享68

    Phane:提交 #OPENSOURCEHIGGSFIELD 的开源创作工具

    作者发布 Phane,一个 100% 开放权重的本地创作工具,8GB 显卡即可运行,支持文本到 3D 运动再到任意角度。它集成 45 个引擎,覆盖图像、编辑、视频、重铸、语音等能力,一键安装,无需云端或积分。

    推荐理由:这个开源工具让 8GB 显存显卡也能本地运行 45 个引擎的文本到 3D 与视频创作流程,创作者可评估是否用它替代云端付费方案。

  3. AITNT · AI创作资讯73

    Genspark Media Studio上线,零基础也能拍短剧

    Genspark Media Studio正式发布,接入20多家厂商的70多个模型版本,覆盖视频、图像、音频和3D生成。实测中可用Seedance 2.5、Kling、Veo生成视频,ElevenLabs生成音频,并通过“故事圣经”功能自动生成短剧。Plus和Pro会员在10月27日至11月4日期间积分消耗五折。

    推荐理由:Genspark将20多家厂商的70多个模型整合进一个工作台,零基础用户也能完成从剧本到成片的完整流程。

10月29日周四
  1. 可灵官方博客71

    Ami 谈 Kling 4.0 如何让微妙情感活起来

    可灵邀请创作者 Ami 用 Kling 4.0 制作短片《Tea When You Have Time》,她分享了 30 秒生成、Omni Reference 与多关键帧等新能力的使用体验。Kling 4.0 支持单次 30 秒生成、21:9 画幅、最多 10 个关键帧,12 个角色资产保持一致,粤语对白口型同步效果好,并支持多种方言与英语口音。

    推荐理由:创作者实测显示 Kling 4.0 在 30 秒长镜头、12 角色一致性与粤语口型同步上表现稳定,可据此评估升级。

  2. 歸藏73

    用即梦短剧工作室制作性转马尔福 AI 女友桌面应用并开源

    歸藏用即梦 AI 短剧工作室制作了性转马尔福互动桌面应用并开源客户端。应用含第一人称短剧与好感度系统,画面、配音和角色由即梦生成,音乐用 Suno,剪辑和代码由 Claude 完成;制作流程涵盖上传剧本、资产库、分镜导演台与视频生成,客户端已开源至 github.com/op7418/malfoy-desktop。

    推荐理由:作者开源了完整客户端代码并详解从剧本到桌面的制作流程,想用即梦短剧工作室做互动作品的创作者可照此复现。

  3. HeyGen Updates67

    HeyGen Voice 推出语音转语音功能

    HeyGen Voice 推出语音转语音(Speech-to-Speech)功能,用户用手机或电脑录制一句台词,即可获得保留情感、节奏、重音和发音的工作室级配音,只改变声音本身。该功能现已上线 HeyGen 和 API,支持从随意录音获得干净朗读,并比文本提示提供更丰富的情感范围,包括耳语、笑声和口音。

    推荐理由:HeyGen 语音转语音把手机录音直接变成工作室级配音,减少 TTS 反复生成,创作者可据此评估新配音流程。

10月27日周二
  1. Runway 官方新闻74

    Runway 推出 App Studio,无代码构建自定义创意应用

    Runway 推出 App Studio,用户可用自然语言描述需求,无代码构建带独立界面的自定义创意应用,生成图像、视频和音频。App Studio 内置 Character Swap、AutoComp、Product Portfolio 等应用,基于 Brand Kits、Workflows 和 Assets 构建,已包含在所有付费计划中,消耗现有 Runway 积分。

    推荐理由:Runway 的 App Studio 把无代码应用构建带入创意工作,团队可将多年沉淀的工作流和品牌标准变成人人可用的工具,降低对个别高手的依赖。

10月23日周五
  1. MindStudio Blog · 创作分享72

    Fish Audio 发布 Drama 3 语音模型:用括号舞台指示控制表演

    Fish Audio 发布文本转语音模型 Drama 3,用户可在剧本中用方括号写舞台指示来调整语气、节奏和表演,并支持单词级控制、内联音效与多说话人脚本。模型以 36B 参数开放权重形式发布在 Hugging Face(fishaudio/drama-3),据用户报告全精度运行约需 46GB 显存,社区 4-bit 量化版约 32GB。

    推荐理由:Fish Audio 开源 36B 语音模型,用括号舞台指示控制表演,并给出与 ElevenLabs 的基准差异和自托管显存门槛。

  2. MindStudio Blog · 创作分享75

    LTX 2.5 开源权重发布:22B 视频模型可自行下载运行

    Lightricks 在 Hugging Face 发布 LTX 2.5 开源权重,这是一个 22B 参数的扩散模型,可下载到自有 GPU 运行,同时提供 dev 完整版与蒸馏加速版,以及 bf16、int8、nvfp4 量化格式。

    推荐理由:Lightricks 把 22B 视频模型连同音频与多镜头能力一起开源,文中拆解了下载包各组件与自托管门槛。

  3. MindStudio Blog · 创作分享78

    LTX 2.5 解析:支持同步音频与原生多镜头的开放权重视频模型

    LTX 2.5 是一个开放权重的 AI 视频模型,音视频在同一次生成中产出,并支持单次生成内包含多个连贯镜头。模型提供标准版与蒸馏版,权重可下载,能通过托管 API 调用,也能部署在自有 GPU 上;官方称新的扩散视频解码器改善了人脸、纹理、画面文字与快速运动的表现。文章还记录了在远程 Nvidia GPU 上自托管运行、用对话镜头测试对口型与面部一致性的过程。

    推荐理由:文章拆解了 LTX 2.5 音视频同源生成、原生多镜头与可自托管三项特性,便于判断开放权重视频模型的实际边界。

  4. pyvideotrans 官方发布65

    pyvideotrans v4.17 发布

    pyvideotrans v4.17 发布,新增 Audio.cpp 语音识别渠道,并增加基于 audio.cpp 的降噪与人声分离模型。同时修复 nemotronasr 重复下载问题,新增 Opper 翻译渠道,字幕翻译增加“进一步精简”选项。

    推荐理由:新版新增 Audio.cpp 语音识别渠道与降噪模型,并优化字幕翻译精简选项,适合评估视频翻译配音流程升级。

10月21日周三
  1. ComfyUI Wiki · 工作流与开源创作分享81

    FastVideo 发布 FastH3 Omni:MiniMax H3 参考条件化变体,8 步生成带声视频

    FastVideo 发布 FastH3 Omni,这是 MiniMax H3 的参考条件化变体,提示词加有序的图片、视频和音频参考可生成带同步声音的片段,只需 8 次 transformer 评估而非基础 H3 的 50 次。

    推荐理由:FastH3 Omni 把参考图、视频与音频统一进一条生成链路,并给出与基础 H3 的逐项耗时对比,便于评估本地部署成本。

  2. FastVideo 视频模型 · 模型发布80

    FastVideo 发布 FastH3 Omni 的 ComfyUI 版本模型权重

    FastVideo 发布 FastH3 Omni 最终版的 ComfyUI 可用权重,提供 BF16 与 INT8 ConvRot 两种扩散模型,可根据提示词和有序的图片、视频、音频参考生成视频与同步音频。

    推荐理由:FastH3 Omni 放出 ComfyUI 可用的 BF16 与 INT8 权重,并给出参考图、视频、音频的接入方式,便于创作者评估本地出片流程。

10月20日周二
  1. IT之家68

    蚂蚁百灵开源 Ming-3.0 语音系列模型,覆盖语音合成、音频理解与对话、语音识别

    蚂蚁百灵开源 Ming-3.0 语音系列,包含语音合成、音频理解与对话、语音识别三个系列共五款模型,开发者可按任务选择或组合进工作流。Ming-3.0-tts 的 Voice Design 支持用文字描述目标音色,也可用参考音频设定音色,导演模式可说明台词的表演方式、情绪变化、重读词与节奏处理。

    推荐理由:Ming-3.0 把语音合成、音频理解与识别拆成五个模型,其中导演模式可用文字描述台词的表演方式。

  2. CGPress72

    Mirelo 发布 SFX 2.0 视频转音效模型

    柏林 AI 研究团队 Mirelo 发布视频转音效模型 SFX 2.0,可在不重新生成画面的情况下改动视频音频,保留对白、去除未指定的音乐,并生成与动作同步、跨剪辑点连贯的音效、拟音与环境声。

    推荐理由:视频转音效模型更新,可在不改动画面的前提下重做音轨,并已接入剪辑软件与第三方平台。

10月17日周六
  1. FastVideo 视频模型 · 模型发布60

    FastVideo 发布 FastH3-QAD-v2 视频音频模型

    FastVideo 发布 FastH3-QAD-v2,这是一个 8 步视频与音频模型,采用 NVFP4 权重和量化感知蒸馏(QAD)训练,可在单张 Blackwell GPU(RTX 5090、RTX PRO 6000)或 DGX Spark 上运行。

    推荐理由:8 步视频与音频模型以 NVFP4 量化权重落到单张 Blackwell 显卡,并给出与 BF16 教师模型的误差数据。

10月15日周四
  1. note · koheii_miaa · 图像视频创作分享65

    AI 音乐人如何用一台 Mac 制作带歌词同步与对口型的 MV,单曲 17 分钟

    作者公开了一套在 Mac 上本地生成 MV 的流程:输入歌曲与封面图,输出歌词同步显示、封面人物演唱的 30 秒视频,16:9 与竖屏两种比例,单曲约 17 分钟,不使用云端付费生成。

    推荐理由:作者公开了从人声分离到歌词同步的完整本地流程与耗时拆分,可对照评估单机出 MV 的可行性。

  2. Reddit StableDiffusion · 创作者与工作流分享66

    作者为 Fish Audio Drama 3 开发 ComfyUI 自定义节点,8GB 显存可运行

    作者为 Fish Audio Drama 3 开发了 ComfyUI-Drama3 自定义节点,这是一个 35B 文本转语音模型,支持声音克隆、对话以及 [sighs]、[whispers] 等行内提示,最低可在 8GB 显存的显卡上运行。

    推荐理由:作者把 35B 语音模型接进 ComfyUI 并做量化,8GB 显存即可跑,可据此评估本地配音工作流。

  3. HeyGen Updates78

    HeyGen 发布 HeyGen Voice 语音模型

    HeyGen 发布新语音模型 HeyGen Voice,称其为首个为视频适配而构建的语音模型,并在 Artificial Analysis 语音榜单排名第一,已包含在每条 HeyGen 视频中且不额外收费。

    推荐理由:HeyGen 推出首个面向视频适配的语音模型,创作者可据此评估配音与多语言口型流程的替换空间。