Suno 发布 Speech 音频模型 beta,可同时生成人声与音乐
Suno 发布 Speech beta,这是其首个将人声与音乐作为一条完整音轨一起生成的音频模型。用户输入想法、诗歌或已有文字,再描述想要的音色与音乐风格,即可生成配原创背景音乐的语音内容。该模型已向全体用户开放 beta,此前已在小范围用户中测试一个月,官方称英式口音偶尔会漂移到澳式等效果仍待改进。
推荐理由:Suno 把语音与背景音乐合成到同一条音轨,做短剧旁白或配音的创作者可以据此评估新的出片方式。
Suno 发布 Speech beta,这是其首个将人声与音乐作为一条完整音轨一起生成的音频模型。用户输入想法、诗歌或已有文字,再描述想要的音色与音乐风格,即可生成配原创背景音乐的语音内容。该模型已向全体用户开放 beta,此前已在小范围用户中测试一个月,官方称英式口音偶尔会漂移到澳式等效果仍待改进。
推荐理由:Suno 把语音与背景音乐合成到同一条音轨,做短剧旁白或配音的创作者可以据此评估新的出片方式。
LTX-2 发布 v1.4.1,修改了 HDR 视频编码流程,将解码后的数据块直接输出为 EXR 和 HLG,不再在内存中保留完整片段。该版本由 lt-research-bot 于 9 月 30 日发布,包含 1 次 main 分支提交。
LTX-2 发布 v1.4.0,为 Distilled、TI2Vid 两阶段、A2Vid、Dub-It 和 IC-LoRA 加入 --chunked,可按默认 97 帧窗口与 25 帧 carry 生成超长视频,无需再设置 --chunk-pixel-frames 或 --chunk-carry-frames。
推荐理由:LTX-2 v1.4.0 把长视频生成、分块解码与 HDR 流程的接口变化集中列出,便于已有工作流评估迁移成本。
Kyutai 在 DL3DV 数据集上对 OVIE 微调 5 万步,推出 kyutai/ovie-ft-dl3dv,架构与基座模型一致、仅权重不同。
Kyutai 在 Hugging Face 发布 OVIE-512,这是 OVIE 系列按相同配方重训至 512×512 的基座模型,训练 250K 步、全局 batch size 256。
Kyutai 在 Hugging Face 发布 OVIE-ft-re10k,这是 OVIE 在 RealEstate10K 多视角数据上微调 50k 步的检查点,仅占其 200 万步预训练预算的 2%,架构与基座模型完全一致,可直接复用同一代码路径加载。
Lightricks 发布基于 LTX-2.5-22B 的 IC-LoRA Alpha Gen,输入普通 RGB 视频即可生成逐帧对齐的灰度 alpha 遮罩,无需绿幕、遮罩或提示词,可处理头发、毛发、烟雾、火焰、薄纱、玻璃和水等半透明元素。
推荐理由:无需绿幕或提示词即可从普通视频生成逐帧对齐的 alpha 遮罩,为抠像与合成流程提供新的替代方案。
IndexTeam 发布 Index-Echo-S2TT-9B,用 Qwen3-Omni AuT 音频编码器加 Index-Translate-9B 解码器把语音转成文本,接受音频或视频文件并输出带句级时间戳的双语字幕,打包推理接口支持中文译成英语、日语或西班牙语。
推荐理由:Index-Echo-S2TT-9B 开源了语音转写加双语字幕的完整推理包,创作者可据此评估字幕与翻译流程的替换成本。
IndexTeam 发布 Index-Echo-S2TT-2B,用 Qwen3-Omni AuT 音频编码器、音频连接器和 Index-Translate-2B 解码器把语音转成文本,接受音频或视频文件并输出带句级时间戳的双语字幕,打包推理接口支持中文译成英语、日语或西班牙语。
推荐理由:Index-Echo 系列新增语音转文字翻译成员,公开了架构、推理参数与自建评测对比,可据此判断是否接入字幕流程。
Lightricks 发布 LTX-2.5-22b-IC-LoRA-SDR-To-HDR,把 8-bit SDR 视频转为 16-bit HDR,除 HLG 母版外还输出 EXR 帧。
推荐理由:Lightricks 把 SDR 转 HDR 做成基于 LTX-2.5 的 IC-LoRA,并给出 ComfyUI 工作流与 EXR 输出路径,后期流程可直接接入。
Lightricks 在 Hugging Face 发布 LTX-2.5-22b-IC-LoRA-Restore,一个基于参考视频的 In-Context LoRA,把低分辨率、低码率、磁带或黑白棕褐扫描的老片渲染成干净彩色高清画面,去除压缩损伤、闪烁、脏点与划痕。
推荐理由:Lightricks 开源老片修复 LoRA,给出从 480 线扫描到 4K 的两阶段流程与实测增益,可对照现有修复管线。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮替的动态视觉形象。
推荐理由:Gemini 3.8 Live 新增实时数字人能力,支持 97 种语言口型同步与后台工具调用,企业可据此评估虚拟客服等场景。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音合成模型,前者面向角色设计与逐句表演指导,后者面向高体量、低成本的配音与语音智能体场景。
推荐理由:两款 TTS 模型把声音生成从固定预设变成可逐句导演的创作流程,配音与有声书团队可据此评估迁移。
腾讯 ARC 在 Hugging Face 发布 WorldCrafter-Base,包含基础 transformer 权重及配套的相机适配器和 LoRA,用于 WorldCrafter 推理代码。
腾讯 ARC 在 Hugging Face 发布 WorldCrafter-Fast 的自包含权重,支持图生视频、文生视频以及交互式图生视频 demo,无需 WorldCrafter-Base 文件即可推理。
推荐理由:WorldCrafter-Fast 放出独立权重,图生视频与文生视频的采样步数配置一并公开,方便创作者评估接入成本。
Higgsfield AI 借助 GPT-6 Astra,一天内上线新视频功能,让小型企业更轻松地制作视频广告,并更快将新创意工具推向市场。
Qwen 开源 Qwen-Image-2.1,一个统一文生图与图像编辑模型,视觉生成部分为 7B 参数、32 层 Single-Stream DiT。该版本支持生成常规与透明 RGBA 图像、最多 10 张参考图、圈选或蒙版局部编辑,并保持人物与商品一致性。
推荐理由:Qwen 开源统一文生图与图像编辑模型,并附带提示词改写模型,创作者可据此评估编辑流程的接入方式。
通义千问开源 Qwen-Image-2.1,一个统一的文生图与图像编辑模型,视觉生成部分为 7B 参数、32 层 Single-Stream DiT,兼顾生成质量、推理效率与通用性。
推荐理由:通义千问开源图像生成与编辑模型,并配套提示词改写模型,创作者可据此评估出图与改图流程。
腾讯 ARC 开源 GAE-D64-1B,一个约 1B 参数的时间 DiT(hidden_size=[768, 2048],depth=[28, 6]),在 64 通道几何原生隐空间上运行,支持 672×378、V=81,采用 metric Plücker 相机条件与 Qwen3-0.6B 文本编码。
OpenAI 在 API 中推出 GPT-Live-1,支持自然的全双工语音对话。该模型在指令遵循上有所增强,并支持自定义音色与电话通信能力。
推荐理由:OpenAI 把全双工语音对话能力开放到 API,开发者可据此评估语音交互产品的接入方式。
Google DeepMind 与 Primordial Soup 合作推出纪录短片《Love, Rendered》,用 AI 复原 Burt 和 Ethelle Shatz 夫妇未曾拍摄的相遇场景。
推荐理由:Google DeepMind 用图像修复与表演捕捉模型复原未拍摄的往事,可看到生成式工具在纪实影像中的具体用法。
OpenAI 推出 ChatGPT Images 2.5,可将想法、草图与参考照片转化为更个性化、更精致的图像,更贴近用户原本的构思。
Google 发布 Gemini 3.7 Flash,主打编程与智能体,每百万 token 价格为首发 3.6 Flash 的一半;同期推出语音转文本模型 Gemini 3.5 Transcribe,面向语音智能体、实时字幕和通话后分析。Gemini 应用月活突破 10 亿,Gemini Omni 1.1 Flash 已在 Google Flow、AI Studio 等平台上线。
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能,视频分析 token 消耗最多降低 88%、成本最多降低 66%、准确率最多提升 7%。
推荐理由:Gemini 新功能把长视频分析成本与 token 消耗大幅压低,开发者可据此评估现有视频处理流程。
Google DeepMind 发布 Gemini Omni 1.1 Flash,通过 Gemini API 在 Google AI Studio 向开发者提供生成式视频能力。
推荐理由:Gemini Omni 1.1 Flash 面向开发者开放场景延长、首尾帧插值与 4K 超分,可据此评估视频工作流改造空间。
Google 发布新一代音乐生成模型 Lyria 3.5,并在 Google Flow Music 中上线。官方称其在音乐性、歌词与演唱质量上均有提升,旋律结构更丰富自然,歌词生成对提示的遵循和结构意识更强,人声表现力与发音改善,同时新增对节奏和时长的控制。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)和 Gemini Omni Flash(gemini-omni-flash-preview)两款模型。
推荐理由:两款模型分别主打图像生成的速度成本与视频的对话式编辑,开发者可据此评估接入组合流程。
Google 发布音频模型 Gemini 3.5 Live Translate,支持 70+ 语言的近实时语音到语音翻译,能自动检测语言并保留说话人的语调、节奏和音高。
推荐理由:Gemini 3.5 Live Translate 把同传延迟压到几秒并支持 70+ 语言,开发者可据此评估实时配音与会议翻译方案。
Google DeepMind 为实验性原型 Project Genie 推出 Street View 实景锚定能力,用户可选取美国地点并叠加风格,让生成世界的起点绑定真实街景影像。
Google DeepMind 发布 Gemini Omni 家族首个模型 Gemini Omni Flash,可组合图像、音频、视频和文本作为输入生成高质量视频,并通过自然语言对话进行多轮编辑。
推荐理由:Gemini 首个视频生成模型 Omni Flash 上线,支持多模态输入与对话式多轮编辑,可对照现有出片流程评估。
OpenAI 在 API 中推出新的实时语音模型,可进行推理、翻译和语音转写,以支持更自然、更智能的语音体验。
NVIDIA 推出 Nemotron 3 Nano Omni 全模态理解模型,采用 Nemotron 3 混合 Mamba-Transformer MoE 骨干,搭配 C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器,支持 100+ 页文档、长音频视频理解与智能体电脑操作。
OpenAI 推出 ChatGPT Images 2.0,改进了文字渲染、多语言支持与视觉推理能力。该版本于 2026 年发布,Images 2.5 的新功能可另行查看。
Google 发布 Gemini 3.1 Flash TTS,称其为目前最自然、表现力最强的语音模型,在 Artificial Analysis TTS 榜单上取得 1,211 Elo 分。
推荐理由:Gemini 3.1 Flash TTS 引入音频标签与多说话人对话,开发者可据此评估语音生成的可控性提升。
Overworld 发布实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广消费级硬件的 360p 档,后续将支持 Apple Silicon Mac。
推荐理由:Waypoint-1.5 把实时世界模型压到消费级显卡,720p 与 360p 双档让创作者可评估本地交互式生成的可行性。
Google 发布 Gemini 3.1 Flash Live,称其为目前质量最高的音频与语音模型,具备更高精度和更低延迟。
推荐理由:Gemini 3.1 Flash Live 在语音交互的延迟、长程推理与多语言上给出可对比的基准数据,开发者可据此评估语音智能体的落地。
Google DeepMind 发布 Lyria 3 Pro,可生成最长 3 分钟的曲目,并能按前奏、主歌、副歌、桥段等结构元素进行提示。该版本已上线 Vertex AI 公共预览、Google AI Studio 与 Gemini API,并接入 Google Vids、Gemini 应用和 ProducerAI;Lyria 3 与 Lyria 3 Pro 的输出均嵌入 SynthID 水印。
推荐理由:Lyria 3 Pro 把单曲时长拉到 3 分钟并支持段落级提示,创作者可据此判断能否用于成片配乐。
OpenAI 针对 Sora 2 视频模型与 Sora 社交创作平台带来的新型安全挑战,将安全作为底层设计基础,并以具体防护措施为支撑。
Google DeepMind 发布最新图像生成模型 Nano Banana 2(Gemini 3.1 Flash Image),将 Nano Banana Pro 的先进世界知识、质量与推理能力带到 Flash 速度。
推荐理由:Nano Banana 2 把 Pro 级世界知识与文字渲染下放到 Flash 速度,并给出多平台上线与定价入口,可据此评估图像工作流是否切换。
Google DeepMind 在 Gemini 应用内以 beta 形式上线最新音乐生成模型 Lyria 3,用户用文本或图片即可生成 30 秒歌曲,歌词由模型自动生成,并可控制风格、人声与节奏。
推荐理由:Lyria 3 在 Gemini 应用内开放文本与图片生成 30 秒歌曲,并加入音频 SynthID 验证,可观察音乐生成的产品化路径。