PAN 2 发布:开源 29B 视频生成模型
PAN 2 发布,开源 29B 潜在扩散模型,支持最高 20 秒、720p、24fps 视频生成,采用 Apache 2.0 许可证。发布方同时公开训练代码,并提供 Diffusers、FastVideo 和 vLLM 集成。模型让 LLM 生成密集文本状态/脚本,事件和动作定时,相机嵌套在事件下但与动作解耦。
推荐理由:开源 29B 视频生成模型并公开训练代码,创作者可评估其 20 秒 720p 生成能力与 LLM 驱动的脚本级可控性。
PAN 2 发布,开源 29B 潜在扩散模型,支持最高 20 秒、720p、24fps 视频生成,采用 Apache 2.0 许可证。发布方同时公开训练代码,并提供 Diffusers、FastVideo 和 vLLM 集成。模型让 LLM 生成密集文本状态/脚本,事件和动作定时,相机嵌套在事件下但与动作解耦。
推荐理由:开源 29B 视频生成模型并公开训练代码,创作者可评估其 20 秒 720p 生成能力与 LLM 驱动的脚本级可控性。
Reddit 用户 elephant-knight 训练并发布了 Krea-2 的姿态控制 LoRA,checkpoints 已上传至 Hugging Face(https://huggingface.co/adhit-420/Krea-2-PoseControl-LoRA-checkpoints)。
PrunaAI 发布面向 Qwen-Image-2.1 的 6 步 LoRA 适配器,将图像生成从 40 步压缩到 6 步。其中 6-steps-upsampled 版本去掉了独立的提示词上采样步骤,根据提示词风格可节省 41 到 80 秒,LoRA 直接加载在 Qwen-Image-2.1 上,管线保持不变。
推荐理由:新适配器将图像生成从 40 步压缩到 6 步并去掉上采样环节,创作者可据此评估是否替换现有出片流程。
微软团队提出 Code Video Model,由 Coding Agent 将 Prompt 转为 Three.js 程序,把几何布局、物体运动、相机轨迹和事件时序统一为可执行场景表示,预演渲染不到一分钟。
同一新闻,精选展示《微软提出 Code Video Model:用可执行代码控制视频生成》
Licon Studio 于 10 月 23 日在 Hugging Face 发布面向 MiniMax H3 的图生视频 LoRA Licon VBVR,针对同一物体被意外复制、身体穿过道具和动作顺序错乱等问题。
Visage-Image 是一个面向人脸生成的小型文生图模型,作者自建数据集并用 Qwen3.5-4B 等模型打标,还自训了窄域自编码器,在其数据集上 iFID 优于 FLUX.2。
MossAD Demo 是基于 OpenMOSS 的 MOSS-Image Base 5B T2I 模型的全量微调版本,用 3,685 张图片、57 位画师的小数据集验证风格学习能力。
Lightricks 在 Hugging Face 发布 LTX 2.5 开源权重,这是一个 22B 参数的扩散模型,可下载到自有 GPU 运行,同时提供 dev 完整版与蒸馏加速版,以及 bf16、int8、nvfp4 量化格式。
推荐理由:Lightricks 把 22B 视频模型连同音频与多镜头能力一起开源,文中拆解了下载包各组件与自托管门槛。
模思智能开源的 5B 参数文生图模型 MOSS-Image 上线 4 天在海外社区收获 130 万次下载,GitHub 获 1.4k Stars,并登顶 Hugging Face 文生图趋势榜。
推荐理由:5B 参数开源模型上线 4 天获 130 万次下载,社区已产出加速、量化版本与 LoRA,可观察其文字渲染与布局控制的实际表现。
Hao AI Lab 的 FastVideo 团队开源 FastH3 OmniRef,输入提示词加参考图像、短视频片段或声音即可生成带同步声音的视频。该模型只需 8 步而非 50 步,比基础 MiniMax-H3 最高快 11.9 倍,已进入 ComfyUI 0.42.2 工作流模板,并开放权重与训练代码。
推荐理由:FastH3 OmniRef 以开放权重形式发布,8 步出片并支持 ComfyUI 首日接入,创作者可据此评估本地参考生视频流程。
Bria 发布 FIBO 系列开源模型 Fibo 2.0,8B 参数 flow-matching 架构,用一套权重同时做图像生成与编辑,10 月 18、19 日在 Hugging Face 上传 Fibo 2.0 Dev 与 Fibo 2.0 Edit Turbo 两个 checkpoint。
蚂蚁百灵开源 Ming-3.0 语音系列,共 5 款模型,覆盖语音合成、音频理解与对话、语音识别,采用 MIT 协议并已上线 Hugging Face 与 ModelScope。TTS 支持用文字描述音色,并可通过导演模式控制情绪、重音与节奏;ASR 支持方言、热词与上下文感知。作者给出下载权重、克隆 TTS 仓库并按 README 推理的上手步骤,其中 0.5B 版本最轻量。
DeepSeek 于 10 月 17 日在官网、App 和 API 同步更新 V4.1-Flash-1017,API 模型名仍为 deepseek-flash,调用方式和价格不变,在 Claude Code 框架下 Terminal-Bench 4.0 得分从 31.2 提升至 42.3。
lodestones 于 10 月 19 日发布 MOSS-Image-Base 的全量微调模型 Kromoss,主要针对 Base 模型的模糊问题,沿用 Qwen3.5-9B 文本编码器与 FLUX.2 small VAE,可直接放入现有 MOSS-Image 工作流。
OpenMOSS 发布 MOSS-Image,这是一个 5B DiT 模型,使用 Qwen3.5-9B 文本编码器和 FLUX.2 VAE,分 Base 与 SFT 两个版本,采用 Apache 2.0 协议。
推荐理由:MOSS-Image 以 Apache 2.0 开源并支持结构化布局控制,可对照现有开源图像模型评估文字渲染能力。
FastVideo 发布 FastH3-QAD-v2,这是一个 8 步视频与音频模型,采用 NVFP4 权重和量化感知蒸馏(QAD)训练,可在单张 Blackwell GPU(RTX 5090、RTX PRO 6000)或 DGX Spark 上运行。
推荐理由:8 步视频与音频模型以 NVFP4 量化权重落到单张 Blackwell 显卡,并给出与 BF16 教师模型的误差数据。
Comfy-Org 在 Hugging Face 发布 MOSS-Image 官方权重,作者表示此前分享的 int8 量化版本已不再推荐,官方权重效果更好。相关改动见 ComfyUI 的 PR 17095,运行前需先更新 ComfyUI。
OpenMOSS 于 10 月 16 日发布 5B 文生图模型家族 MOSS-Image,包含预训练版 MOSS-Image-Base 和面向普通用户的 MOSS-Image-SFT 两个 checkpoint。
推荐理由:5B 文生图模型主打中英文文字渲染与 JSON 布局控制,ComfyUI 核心节点同日支持,可据此评估排版类出图流程。
微软 AesCode 是一款代码生成模型,从图像生成器产出的参考中学习视觉设计,可生成信息密集的海报、幻灯片、仪表盘和网页,输出为可编辑的 HTML 与 CSS。该模型设计效果达到 SOTA,但体积偏大。
Black Forest Labs 发布 FLUX 3 Image Klein,一个 5.6B 参数的开源权重模型,支持文生图、图像编辑和最多 10 张参考图的多参考生成,具备原生 4K 生成、像素级编辑和边界框控制能力。
推荐理由:5.6B 参数的开源图像模型把 4K 生成与像素级编辑压到 8GB 显存可跑,可据此评估本地出图与改图方案。
Black Forest Labs 发布 FLUX 3 Image Klein Prompt Upsampler,一个 9B 视觉语言模型,把简短图像需求扩写成 FLUX 3 Image Klein 更适用的详细提示词。
推荐理由:官方开源了 9B 提示词扩写模型,可把简短需求扩成含光线、构图与主体细节的完整提示词,并支持参考图与边界框。
昆仑万维发布 Matrix-Game 4.0,称其为世界首款运行在单张消费级显卡上的视频大模型游戏,已同步开源。该模型由游戏引擎维护世界状态与交互规则、视频生成模型实时呈现画面,在单张 NVIDIA RTX 5090 上实现 480p、60 FPS 体验,按键到画面响应延迟低于 150 毫秒。
Google 于 10 月 13 日扩大 Gemini 4 Argon 开放范围,该模型支持 1,048,576 token 上下文,可接收文本、图像、视频、音频和 PDF,Gemini 应用 Pro、Ultra 用户及付费 API、AI Studio 用户均可使用。
Agnes 开源音视频生成模型 Agnes-Video-2.0-MoE,以约 153 亿参数的 DaVinci-MagiHuman 为基础,把 40 层网络中间 32 层的部分计算模块各扩展为三个专家,总参数量约 287 亿,单次激活参数量仍与改造前相当。
Black Forest Labs 发布 FLUX 3 Image Klein,一个 5.6B 开源权重模型,同时支持文生图、单参考图编辑和多参考图组合生成,文本编码器为 Qwen3-VL-4B-Instruct。
推荐理由:5.6B 开源权重模型把文生图、单图编辑与多图组合统一到同一模型,并给出量化版本与显存占用,便于自部署者评估落地成本。
Black Forest Labs 在 Hugging Face 发布 FLUX 3 Image Klein Base,这是一个 5.6B 参数的开源权重模型,文生图、单参考图编辑和多参考图合成共用同一模型,文本编码器为 Qwen3-VL-4B-Instruct。
推荐理由:5.6B 开源权重同时覆盖文生图、单图编辑与多图合成,并给出 BF16、FP8、NVFP4 三档显存占用,便于评估自托管成本。
基于 Flux.1-dev 的单步真实图像超分模型 FluxSR 于 10 月 13 日公开训练、推理与评测代码及模型包,权重首次可在论文之外运行。
Fish Audio 于 2026 年 10 月 13 日发布新一代语音合成模型 Drama 3,为开放权重的 35B MoE 模型,每 token 激活 3B。
推荐理由:35B 开源语音模型支持 16 角色同轨生成与自然语言表演指令,可对照其发音鲁棒性数据评估配音与有声书流程。
基于 Speridlabs 的 Iris-3B,作者在 Google Colab 的 A100 80GB 上完成约 30 亿参数模型本体的全参微调,公开了插画模型 Iris3B Illustration 和在此基础上追加 600 更新调整画风的 IrisKimi-3B-v1。
腾讯 ARC 在 Hugging Face 发布 Multics,通过分层通信实现可扩展的多人视频生成。仓库包含完整的 4-player Multics DiT checkpoint、配置、Wan2.2 VAE、UMT5 文本编码器和 tokenizer,同一 checkpoint 无需重新训练即可支持 6、8、10 人生成。权重以 Apache 2.0 许可分发。
推荐理由:腾讯 ARC 开源多人视频生成模型 Multics,同一权重可扩展到 10 人,创作者可据此评估多人场景的生成方案。
阿里通义开源 Qwen-Image-2.1-Turbo,基于 Qwen-Image-2.1 的加速 checkpoint,沿用同一套 7B 视觉生成架构,文生图与自然语言编辑只需 8 步去噪,官方称仍能生成 2K 图像并支持加配饰、换场景等连续编辑。
推荐理由:Qwen-Image-2.1-Turbo 以 8 步去噪实现 2K 文生图与自然语言编辑,并给出 Diffusers 与 API 两条上手路径。
Qwen 发布 Qwen-Image-2.1-Turbo,这是 Qwen-Image-2.1 的加速 checkpoint,用于文生图与图像编辑,仅需 8 步去噪。
推荐理由:8 步采样与 KV 缓存复用文本和参考图上下文,创作者可据此评估出图与改图流程的提速空间。
FastVideo 发布实验性模型 FastH3 Trim,从 FastH3 V2 的 50 个 MiniMax H3 transformer block 中移除 8 个影响最小的 block,并将各 block 的 AdaLN 时间步投影替换为共享 rank-16 基,用 8 步 DMD2 训练(checkpoint 300),实现 8 步文本生成视频并同步音频。
推荐理由:FastH3 Trim 用剪枝加共享 AdaLN 把 8 步音视频生成压到消费级硬件,可对照 V2 权衡画质与体积。
Kyutai 在 DL3DV 数据集上对 OVIE 微调 5 万步,推出 kyutai/ovie-ft-dl3dv,架构与基座模型一致、仅权重不同。
Kyutai 在 Hugging Face 发布 OVIE-512,这是 OVIE 系列按相同配方重训至 512×512 的基座模型,训练 250K 步、全局 batch size 256。
Kyutai 在 Hugging Face 发布 OVIE-ft-re10k,这是 OVIE 在 RealEstate10K 多视角数据上微调 50k 步的检查点,仅占其 200 万步预训练预算的 2%,架构与基座模型完全一致,可直接复用同一代码路径加载。
Lightricks 发布基于 LTX-2.5-22B 的 IC-LoRA Alpha Gen,输入普通 RGB 视频即可生成逐帧对齐的灰度 alpha 遮罩,无需绿幕、遮罩或提示词,可处理头发、毛发、烟雾、火焰、薄纱、玻璃和水等半透明元素。
推荐理由:无需绿幕或提示词即可从普通视频生成逐帧对齐的 alpha 遮罩,为抠像与合成流程提供新的替代方案。
Lightricks 发布 LTX-2.5-22b-IC-LoRA-SDR-To-HDR,把 8-bit SDR 视频转为 16-bit HDR,除 HLG 母版外还输出 EXR 帧。
推荐理由:Lightricks 把 SDR 转 HDR 做成基于 LTX-2.5 的 IC-LoRA,并给出 ComfyUI 工作流与 EXR 输出路径,后期流程可直接接入。
Lightricks 在 Hugging Face 发布 LTX-2.5-22b-IC-LoRA-Restore,一个基于参考视频的 In-Context LoRA,把低分辨率、低码率、磁带或黑白棕褐扫描的老片渲染成干净彩色高清画面,去除压缩损伤、闪烁、脏点与划痕。
推荐理由:Lightricks 开源老片修复 LoRA,给出从 480 线扫描到 4K 的两阶段流程与实测增益,可对照现有修复管线。
腾讯 ARC 在 Hugging Face 发布 WorldCrafter-Base,包含基础 transformer 权重及配套的相机适配器和 LoRA,用于 WorldCrafter 推理代码。