Kling 4 早期实测,兼看 Gemini 4 Argon、Ideogram 4.5 与 Eleven v4
作者对 Kling 4 早期访问版做了实测,目前仅开放 Flash 模型、输出 720p,面向年度套餐的 Ultra 订阅用户,更大模型计划 10 月推出。测试显示 Kling 4 似乎解决了 3.0 的对口型漂移问题,关键帧参考最多支持十个,但表演略显平淡。
作者对 Kling 4 早期访问版做了实测,目前仅开放 Flash 模型、输出 720p,面向年度套餐的 Ultra 订阅用户,更大模型计划 10 月推出。测试显示 Kling 4 似乎解决了 3.0 的对口型漂移问题,关键帧参考最多支持十个,但表演略显平淡。
Suno 发布 Speech beta,这是其首个将人声与音乐作为一条完整音轨一起生成的音频模型。用户输入想法、诗歌或已有文字,再描述想要的音色与音乐风格,即可生成配原创背景音乐的语音内容。该模型已向全体用户开放 beta,此前已在小范围用户中测试一个月,官方称英式口音偶尔会漂移到澳式等效果仍待改进。
推荐理由:Suno 把语音与背景音乐合成到同一条音轨,做短剧旁白或配音的创作者可以据此评估新的出片方式。
在今天的 AI Summit 上,Runway CTO Kamil Sindi 进一步介绍了我们的首个世界接口模型 Solaris。一种新型操作系统,随着你的交互而自我构建。每一帧都根据你的意图实时生成。 在主题演讲中,Kamil 分享了一个清晰的愿景:未来所有软件都是生成的。无需一行代码。 了解更多关于 Solaris:https://runway.com/news/research/introducing-solaris
LTX-2 发布 v1.4.1,修改了 HDR 视频编码流程,将解码后的数据块直接输出为 EXR 和 HLG,不再在内存中保留完整片段。该版本由 lt-research-bot 于 9 月 30 日发布,包含 1 次 main 分支提交。
⚡️⚡️ (引用推文内容:@umesh_ai 获得了 Kling 4.0 Flash 的抢先体验!这是我最初的几次尝试之一。提示词理解非常棒。@Kling_ai #Kling4 提示词 ⤵️)
可灵官方发布一段由 Kling 4.0 满血版全能参考生成的短片,并称该版本将于 10 月上线。引用内容提到满血版相比 Flash 具备原生 30 秒直出、画面与声音更清晰、口型匹配更精准以及 21:9 电影画幅等差异。
阿里开源 Qwen-Image-2.1 图片模型,视觉生成部分为 7B,用 32 层 Single-Stream DiT,一个模型覆盖生成、编辑与原生透明背景图。
推荐理由:作者用大量实测案例展示 Qwen-Image-2.1 在生图、编辑与原生透明上的表现,并给出消费级显卡的实测速度。
LTX-2 发布 v1.4.0,为 Distilled、TI2Vid 两阶段、A2Vid、Dub-It 和 IC-LoRA 加入 --chunked,可按默认 97 帧窗口与 25 帧 carry 生成超长视频,无需再设置 --chunk-pixel-frames 或 --chunk-carry-frames。
推荐理由:LTX-2 v1.4.0 把长视频生成、分块解码与 HDR 流程的接口变化集中列出,便于已有工作流评估迁移成本。
造梦次元与生数科技用Vidu S2驱动AI主播紫樱完成一场48小时直播,累计31万+人观看、最高超4万人在线,总营收4.2万元。紫樱会念出新观众昵称、接住弹幕话题,并根据礼物唱歌、跳舞、换装和切换场景,直播中重开24次才达成8万营业值目标。
推荐理由:以一场48小时AI主播直播为样本,观察实时视频模型在互动内容中的实际表现与商业转化。
Kyutai 在 DL3DV 数据集上对 OVIE 微调 5 万步,推出 kyutai/ovie-ft-dl3dv,架构与基座模型一致、仅权重不同。
Kyutai 在 Hugging Face 发布 OVIE-512,这是 OVIE 系列按相同配方重训至 512×512 的基座模型,训练 250K 步、全局 batch size 256。
Kyutai 在 Hugging Face 发布 OVIE-ft-re10k,这是 OVIE 在 RealEstate10K 多视角数据上微调 50k 步的检查点,仅占其 200 万步预训练预算的 2%,架构与基座模型完全一致,可直接复用同一代码路径加载。
Lightricks 发布基于 LTX-2.5-22B 的 IC-LoRA Alpha Gen,输入普通 RGB 视频即可生成逐帧对齐的灰度 alpha 遮罩,无需绿幕、遮罩或提示词,可处理头发、毛发、烟雾、火焰、薄纱、玻璃和水等半透明元素。
推荐理由:无需绿幕或提示词即可从普通视频生成逐帧对齐的 alpha 遮罩,为抠像与合成流程提供新的替代方案。
可灵宣布 Kling 4.0 将于今年 10 月发布,Kling 4.0 Flash 已面向 Ultra 年费订阅用户上线。
推荐理由:可灵 4.0 公布音画、参考与多关键帧等能力升级,创作者可据此评估出片流程的调整空间。
等待结束。节奏回归。 THE BEAT,由可灵 4.0 创作,讲述一位鼓手重返舞台的旅程。“WATCH ME PLAY。”
IndexTeam 发布 Index-Echo-S2TT-9B,用 Qwen3-Omni AuT 音频编码器加 Index-Translate-9B 解码器把语音转成文本,接受音频或视频文件并输出带句级时间戳的双语字幕,打包推理接口支持中文译成英语、日语或西班牙语。
推荐理由:Index-Echo-S2TT-9B 开源了语音转写加双语字幕的完整推理包,创作者可据此评估字幕与翻译流程的替换成本。
IndexTeam 发布 Index-Echo-S2TT-2B,用 Qwen3-Omni AuT 音频编码器、音频连接器和 Index-Translate-2B 解码器把语音转成文本,接受音频或视频文件并输出带句级时间戳的双语字幕,打包推理接口支持中文译成英语、日语或西班牙语。
推荐理由:Index-Echo 系列新增语音转文字翻译成员,公开了架构、推理参数与自建评测对比,可据此判断是否接入字幕流程。
Lightricks 发布 LTX-2.5-22b-IC-LoRA-SDR-To-HDR,把 8-bit SDR 视频转为 16-bit HDR,除 HLG 母版外还输出 EXR 帧。
推荐理由:Lightricks 把 SDR 转 HDR 做成基于 LTX-2.5 的 IC-LoRA,并给出 ComfyUI 工作流与 EXR 输出路径,后期流程可直接接入。
Lightricks 在 Hugging Face 发布 LTX-2.5-22b-IC-LoRA-Restore,一个基于参考视频的 In-Context LoRA,把低分辨率、低码率、磁带或黑白棕褐扫描的老片渲染成干净彩色高清画面,去除压缩损伤、闪烁、脏点与划痕。
推荐理由:Lightricks 开源老片修复 LoRA,给出从 480 线扫描到 4K 的两阶段流程与实测增益,可对照现有修复管线。
CLING ON!我们有消息了。
拍摄后的修改是工作的一部分。服装、背景、灯光——现在更多这类修改无需让所有人重返片场。
在 250 条图生视频提示词上,我们评估了 Model Router 相比 SOTA 模型基线如何降低成本并保持生产可用性。详情请见下方链接。
Google 于 9 月 23 日推出 Gemini 3.8 TTS 与 Gemini 3.8 Flash-Lite TTS,称其为目前能力最强的音频生成模型。前者面向创意方向与角色设计,可用自然语言提示从零生成新声音,覆盖游戏、有声书、播客等场景,并支持超过 100 种语言和方言的角色、口音与声音特征定制;后者用于 AI 配音、内容创作和语音智能体。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮替的动态视觉形象。
推荐理由:Gemini 3.8 Live 新增实时数字人能力,支持 97 种语言口型同步与后台工具调用,企业可据此评估虚拟客服等场景。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音合成模型,前者面向角色设计与逐句表演指导,后者面向高体量、低成本的配音与语音智能体场景。
推荐理由:两款 TTS 模型把声音生成从固定预设变成可逐句导演的创作流程,配音与有声书团队可据此评估迁移。
Pika 与 Pika API Club 上线 Seedance 2.5 草稿模式,可快速生成片段,价格低至每秒 10 美分。满意后再以高质量定稿。
当你走出办公室、踏上列车……会发生什么…… 这是我们 Swap Anything 应用的又一个例子,它可以改变视频中的任何内容——从角色到道具,再到场景,同时保持基本的时序和运动不变。
Pika 发布新应用 Swap Anything,可替换视频中的演员、服装、场景或道具,同时保留原片的时序、运动和叙事结构。该应用已在新版 Pika 平台上线,Pika 同时将自身定位为面向创作者的 AI 创作平台。
Vidu S2 于 9 月 15 日发布,论文 9 月 10 日发布,网页版、APP、小程序与 API 均已开放体验,包含实时交互和实时编辑两个模型。作者实测实时交互模型 S2-Avatar 支持语音对话、实时动作响应、上传参考图互动,可保存 720p 交互视频,并测试了虚拟偶像直播、带货粤式早茶、英文对话与全身场景,中途打断后角色能接上新话题。
推荐理由:作者用大量实测案例拆解 Vidu S2 的实时交互与实时编辑两条能力线,可据此判断数字人直播与实时换装场景的可用性。
腾讯混元发布混元图像 3.5 预览版(Hy Image3.5 preview),定位高性价比专业级生图模型,支持文生图与图生图、单次最多上传 5 张参考图、最高 2K 分辨率输出和多轮对话创作。
推荐理由:腾讯混元发布专业级生图模型预览版,给出2K输出、0.15元每张的API定价与内部盲测对比结果,可据此评估成本与出图能力。
Pika 在新版 Pika 平台上线 Relight Media 应用,可对任意照片或视频重建光影,支持预设或手动调整,主体、构图与运动保持不变。Pika 称新版 Pika 是面向创作者的 AI 创作平台。
水下拍摄通常需要大量专业设备,搭建水下布景格外昂贵,绿幕打光在水下还有额外的独特难题要克服。 混合制作让水下拍摄变得容易得多。 Made with Luma.
腾讯 ARC 在 Hugging Face 发布 WorldCrafter-Base,包含基础 transformer 权重及配套的相机适配器和 LoRA,用于 WorldCrafter 推理代码。
腾讯 ARC 在 Hugging Face 发布 WorldCrafter-Fast 的自包含权重,支持图生视频、文生视频以及交互式图生视频 demo,无需 WorldCrafter-Base 文件即可推理。
推荐理由:WorldCrafter-Fast 放出独立权重,图生视频与文生视频的采样步数配置一并公开,方便创作者评估接入成本。
Higgsfield AI 借助 GPT-6 Astra,一天内上线新视频功能,让小型企业更轻松地制作视频广告,并更快将新创意工具推向市场。
腾讯混元联合复旦大学、浙江大学提出 Prism,一个用于原生训练 2K 联合视频音频生成模型的动态稀疏注意力框架,将 token 序列组织为时空宏区块并按局部内容动态分配块形状,训练速度相比全注意力提升 2.5 倍且生成质量更高。
Qwen 团队开源 Qwen-Image-2.1,把文生图与图像编辑统一到一个 7B 参数的 checkpoint,原生支持 2K 生成与含 alpha 通道的 RGBA 透明输出,最多可用 10 张参考图,并支持圆形、涂鸦、独立蒙版指定局部编辑。
Qwen 开源 Qwen-Image-2.1,一个统一文生图与图像编辑模型,视觉生成部分为 7B 参数、32 层 Single-Stream DiT。该版本支持生成常规与透明 RGBA 图像、最多 10 张参考图、圈选或蒙版局部编辑,并保持人物与商品一致性。
推荐理由:Qwen 开源统一文生图与图像编辑模型,并附带提示词改写模型,创作者可据此评估编辑流程的接入方式。
通义千问开源 Qwen-Image-2.1,一个统一的文生图与图像编辑模型,视觉生成部分为 7B 参数、32 层 Single-Stream DiT,兼顾生成质量、推理效率与通用性。
推荐理由:通义千问开源图像生成与编辑模型,并配套提示词改写模型,创作者可据此评估出图与改图流程。
Pika 发布新版 AI 创作平台,官方称其面向创作者、追求符合严格标准的输出。官方用 Relight Media 的示例说明,除了改变视频中的时间,还能调整光照的颜色、强度和方向,并邀请用户在新版 Pika 上试用。