mlx-audio v0.6.1 发布:修复 Ming 提示词契约并新增 Gradium Phonon TTS
mlx-audio 发布 v0.6.1,修复 Ming dense 的提示词契约并支持 Ming-3.0-tts-0.5B,同时新增 Gradium Phonon TTS 模型。该版本还修复了服务端 STT 上传改用可写临时文件,以及 irodori-tts 在独立 CFG 与双条件设定下 speaker_kv_scale 回滚崩溃的问题。
mlx-audio 发布 v0.6.1,修复 Ming dense 的提示词契约并支持 Ming-3.0-tts-0.5B,同时新增 Gradium Phonon TTS 模型。该版本还修复了服务端 STT 上传改用可写临时文件,以及 irodori-tts 在独立 CFG 与双条件设定下 speaker_kv_scale 回滚崩溃的问题。
mlx-audio v0.6.1 发布,新增 Gradium Phonon TTS 模型并支持 Ming-3.0-tts-0.5B。同时修复 STT 上传临时文件写入和 irodori-tts speaker_kv_scale 回滚崩溃等问题。
视听档案保存正从依赖LTO磁带等物理载体转向策略驱动的数字仓储,LTO-10原生容量已达30TB和40TB,但代际迁移与兼容性仍是核心风险。高端扫描仪如Lasergraphics Director 65可扫描至13.5K,常规保存流程多用4K。数字化后的真正变革在于将保存母版直接摄入对象存储,由软件自动执行完整性、留存与复制策略。
雷峰网复盘爱奇艺自2023年3月全员AI培训以来580天的AI落地过程,覆盖剧本工坊、影像工坊、虚拟制作与桃豆世界等应用。剧本工坊已累计为5000部小说和剧本提供评估提速,2025年4月版本接入DeepSeek等国产大模型,不到30分钟可完成50万字剧本评估。虚拟制作系统使用价格自今年6月1日起由16万元/天降至最低3.5万元/天,内部使用虚拟制作的项目数量同比增长50%。
FastVideo 在 Hugging Face 发布 FastH3 OmniRef 的 ComfyUI 原生打包版本,可根据提示词与有序的图像、视频、音频参考生成视频和音频。
蚂蚁百灵开源 Ming-3.0 语音系列,包含语音合成、音频理解与对话、语音识别三个系列共五款模型,开发者可按任务选择或组合进工作流。Ming-3.0-tts 的 Voice Design 支持用文字描述目标音色,也可用参考音频设定音色,导演模式可说明台词的表演方式、情绪变化、重读词与节奏处理。
推荐理由:Ming-3.0 把语音合成、音频理解与识别拆成五个模型,其中导演模式可用文字描述台词的表演方式。
柏林 AI 研究团队 Mirelo 发布视频转音效模型 SFX 2.0,可在不重新生成画面的情况下改动视频音频,保留对白、去除未指定的音乐,并生成与动作同步、跨剪辑点连贯的音效、拟音与环境声。
推荐理由:视频转音效模型更新,可在不改动画面的前提下重做音轨,并已接入剪辑软件与第三方平台。
Higgsfield 官方博客对比了 9 款 AI 对口型视频生成器,涵盖 Higgsfield Lipsync Studio、HeyGen、Sync Labs、LipDub、Kling AI、Rask AI、Captions、D-ID 和 Vozo AI。
mlx-audio 发布 v0.6.0,新增 Fish Audio Drama 3 语音模型、Phonon-2 语音识别和 MiMo-V2.5-ASR STT 支持,并加入 Granite Speech 4.1 Plus。该版本优化了 Breeze-TTS 与 VibeVoice 生成性能,修复 Qwen3-ASR 流式时间戳、Qwen3-TTS 预填充及 Metal 不可用时的回退问题。
ComeCut v0.2.1 发布首个 Windows 桌面版,体积仅约 30MB,启动快、占用资源少。新增多语言界面、自动配音(支持中英韩日,需对应 TTS)、退出剪辑编辑器自动保存,并修复音频分离后丢失问题、为人声与背景声加不同颜色显示。
Pika 宣布 Soundtrack 可在 ChatGPT 中为任意视频配乐,音乐与氛围音都按画面动作对齐,只需一次提问。该功能属于 Pika 与 OpenAI 合作推出的 Pika X ChatGPT 插件扩展,Pika 的创作工具已进入聊天窗口与侧边栏。
日本演员协会(JAU)发布生成式 AI 使用准则第一版,适用于所有借助 AI 复刻演员声音生成的音频,要求复刻流程每一步都取得当事人同意,AI 企业将演员声音用于训练须获许可,经授权生成的语音被视作一类“表演”,企业需支付报酬或版税。
StyleStream 2.0 提出快速可控的流式语音风格转换框架,在消费级 GPU 上把端到端延迟从 1.0 版的约 1s 降到 520ms,实现 2 倍加速且保持转换质量。
mlx-audio 发布 v0.6.0,新增 Fish Audio Drama 3、Phonon-2 语音识别、MiMo-V2.5-ASR 与 Granite Speech 4.1 Plus 支持。同时修复 Qwen3-TTS/ASR、Whisper 等多项问题,并优化 Breeze-TTS 生成与 VibeVoice 性能。
开源 AI 模组 NPCTalk 为《GTA 5》带来无脚本实时对话,玩家可用麦克风与 NPC 交谈,NPC 以 AI 克隆原声回应。该系统由英伟达 Nemotron ASR、Qwen 3.8 27B(Cerebras 平台)、Fish Audio Drama 3 及 TypeSafe Jev 协同运行,按键通话模式延迟约 1.15 至 2.2 秒。
YouTube 于 10 月 14 日宣布在 YouTube Music 为生成 AI 主要参与的歌曲逐步加注标签,点击标签可查看补充信息,并计划扩展到普通 YouTube 应用。
SEAM 是一种零音频初始化方法,用已知子词为未见 token 构建嵌入,通过频谱滤波保留时序音素顺序,并用闭式岭回归将新嵌入对齐到预训练条件流形。在三种语言和两种 TTS 架构上,SEAM 用最多少 4 倍的训练数据即可接近或匹配基线,相比随机初始化和均值池化将样本复杂度降低 75%。该工作已被 EMNLP 2026 Findings 接收。
AIGCPanel v2.6.0 发布,新增「图片形象」入口,上传一张高清正脸自拍即可生成数字人形象,不再需要录制 10 到 30 秒的正脸视频。该版本同时支持在生成时微调语音合成参数,并为任务调度补上兜底机制。
Session Loops 推出免费开源 AI 人声修音插件 PitchNet,采用 AI 重合成重建修音后的人声,而非直接扭曲原始波形,并可将人声检测为可编辑音符区域。插件支持 VST3、AU、AAX 及 ARA,Mac 版为 Apple Silicon 与 Intel 通用二进制,官方建议使用独立 GPU,也可在集成显卡上降速运行。
作者针对上一版 14 智能体 RTX 5090 影视流水线的反馈做了修复,并放出新粗剪与 GitHub 完整源码。
一个名为 hand-drawn-storybook-animation-skill 的开源 Claude Skill 能在浏览器里实时绘制手绘水彩绘本动画,画面一笔笔扫出、带分镜与翻页转场,而非预渲染视频。
作者在 Windows 11 加 RTX 4090 环境下,用第三方 ComfyUI-Drama3 自定义节点试跑了 Fish Audio 的 TTS 模型 Drama 3,并给出模型与 codec、ASR 文件的放置路径。
FastVideo 发布 FastH3-QAD-v2,这是一个 8 步视频与音频模型,采用 NVFP4 权重和量化感知蒸馏(QAD)训练,可在单张 Blackwell GPU(RTX 5090、RTX PRO 6000)或 DGX Spark 上运行。
推荐理由:8 步视频与音频模型以 NVFP4 量化权重落到单张 Blackwell 显卡,并给出与 BF16 教师模型的误差数据。
UniAVC 用单一模型权重实现文本条件联合生成、双向跨模态生成与指令引导编辑,无需任务专用适配器。它先在单模态数据上训练各分支至完整生成与编辑能力,再把配对数据用于跨模态对应关系;模态解耦调度器从共享时间步独立变换噪声调度,并以单模态干净样本直接监督非对称配置。由此支持意图感知编辑与推理后自优化,仅重生成不满意的一侧。
用户反馈在 minimax H3 的参考图生视频工作流中,输入约 20 秒正常语音作为音频参考后,语音提示词无法产生任何变化,所有输出音量和音色都相同。尝试用 says、whispers quietly 等标注方式均无效,无法实现喊叫、耳语或兴奋语气等变化。
ElevenLabs 在 ElevenCreative 上线 Instant Soundtracks,上传视频后模型会生成原创配乐,并分析画面中的音效提示点,把音效按对应时间戳自动放到时间线上。
推荐理由:ElevenLabs 把配乐与音效生成合并进视频工作流,可据此评估短剧与广告出片的声音制作环节。
广电网络因债权人西安广华通信以511.33万元到期债务未清偿为由申请预重整,西安中院已受理并指定清算组为临时管理人,同步公开招募重整投资人,报名截止2026年11月8日18时并需缴纳1000万元保证金。中国广电山西公司10月10日召开“百日攻坚 决胜全年”推进会,要求加快“全省一网”深度整合并健全三级经营数据报送机制。
LALAL.AI 2.20 已登陆 Windows、macOS、Linux、Android 和 iOS,核心更新是 Stem Mixer,可同时播放一次分离出的全部音轨并实时调节各轨音量。
用 Wireflow 节点式画布搭一条 AI 视频工作流,做出一段 9.3 秒、1080x1920、30fps 的双角色水果短剧,总花费 164 credits,从首次运行到成片 MP4 用时 6 分 50 秒。
生成式 AI 工作流是把多个模型节点用连线串起来的创作链路,每个节点只做一件事:持有提示词、运行模型或传递文件。
ElevenLabs 发布 SSML 使用指南,说明各模型对语音标记语言的支持差异:Multilingual v2 等旧模型支持 `<break>` 标签实现最长 3 秒停顿。
港科大 MMLab@HKUST、腾讯视频与香港大学提出 Adaptive Reward Routing,在 DiffusionNFT 框架上让音视频扩散模型的多奖励路由随训练实时重算,而非从基座模型一次性固定。
ComfyUI 工作流模板发布 v0.11.81,可通过 pip install comfyui-workflow-templates==0.11.81 安装。本次更新将 Quiver 模板改用 Arrow 2 模型,并新增 LTX-2.5 DFR i2v、Fish Audio Drama 3 和 Qwen-Image 2.1 Turbo 模板。
一位创作者用 Higgsfield 一次性生成 15 秒竖版 720p 咖啡滴滤包广告,消耗 68 积分,但最后约 2.4 秒出现的商品袋被 AI 换成自立大袋、袋上文字也成了无意义字母。
Fish Audio 发布语音 AI「Drama 3」,支持最多 16 名说话人、情感表演与语音编辑,模型数据和代码已开源。Mirelo SFX 2.0 可为视频自动生成同步音效并去除多余音乐,单次处理约 10 分钟片段。BytePlus 的 OmniHuman 2.0 支持单图加音频生成最长 300 秒说话歌唱视频,并可通过 API 调用。
柏林开发者 Lorenzo Minneci 打造的 Fusion Karaoke 获 Musixmatch Musicathon 评委排名第一,它把歌词变成实时视觉、让演唱者逐渐变成原唱。
Intrect 的 AI 音频去伪影插件 de-artifact 新增 AAX 格式,首次可在 Pro Tools 中原生运行,此前仅支持 VST3、AU 和 CLAP。
NoiseWorks Audio 推出免费插件 PloseAssist,可自动检测并削减人声录音中的爆破音,仅处理约 250Hz 以下、且只在爆破发生瞬间生效。
DaVinci Resolve 21 已集成智能体 AI,Claude 或 ChatGPT 可通过 API 用提示词控制软件,实测中它自动将两台无时间码摄影机的四段素材与一段无时间码音频在时间线上完成同步,并生成文字记录、挑出两分钟最佳片段、按 YouTube 标准做响度归一化。
作者公开了一套在 Mac 上本地生成 MV 的流程:输入歌曲与封面图,输出歌词同步显示、封面人物演唱的 30 秒视频,16:9 与竖屏两种比例,单曲约 17 分钟,不使用云端付费生成。
推荐理由:作者公开了从人声分离到歌词同步的完整本地流程与耗时拆分,可对照评估单机出 MV 的可行性。