PAN 2 发布:开源 29B 视频生成模型
PAN 2 发布,开源 29B 潜在扩散模型,支持最高 20 秒、720p、24fps 视频生成,采用 Apache 2.0 许可证。发布方同时公开训练代码,并提供 Diffusers、FastVideo 和 vLLM 集成。模型让 LLM 生成密集文本状态/脚本,事件和动作定时,相机嵌套在事件下但与动作解耦。
推荐理由:开源 29B 视频生成模型并公开训练代码,创作者可评估其 20 秒 720p 生成能力与 LLM 驱动的脚本级可控性。
PAN 2 发布,开源 29B 潜在扩散模型,支持最高 20 秒、720p、24fps 视频生成,采用 Apache 2.0 许可证。发布方同时公开训练代码,并提供 Diffusers、FastVideo 和 vLLM 集成。模型让 LLM 生成密集文本状态/脚本,事件和动作定时,相机嵌套在事件下但与动作解耦。
推荐理由:开源 29B 视频生成模型并公开训练代码,创作者可评估其 20 秒 720p 生成能力与 LLM 驱动的脚本级可控性。
微软团队提出 Code Video Model,由 Coding Agent 将 Prompt 转为 Three.js 程序,把几何布局、物体运动、相机轨迹和事件时序统一为可执行场景表示,预演渲染不到一分钟。
同一新闻,精选展示《微软提出 Code Video Model:用可执行代码控制视频生成》
Visage-Image 是一个面向人脸生成的小型文生图模型,作者自建数据集并用 Qwen3.5-4B 等模型打标,还自训了窄域自编码器,在其数据集上 iFID 优于 FLUX.2。
模思智能开源的 5B 参数文生图模型 MOSS-Image 上线 4 天在海外社区收获 130 万次下载,GitHub 获 1.4k Stars,并登顶 Hugging Face 文生图趋势榜。
推荐理由:5B 参数开源模型上线 4 天获 130 万次下载,社区已产出加速、量化版本与 LoRA,可观察其文字渲染与布局控制的实际表现。
蚂蚁百灵开源 Ming-3.0 语音系列,共 5 款模型,覆盖语音合成、音频理解与对话、语音识别,采用 MIT 协议并已上线 Hugging Face 与 ModelScope。TTS 支持用文字描述音色,并可通过导演模式控制情绪、重音与节奏;ASR 支持方言、热词与上下文感知。作者给出下载权重、克隆 TTS 仓库并按 README 推理的上手步骤,其中 0.5B 版本最轻量。
DeepSeek 于 10 月 17 日在官网、App 和 API 同步更新 V4.1-Flash-1017,API 模型名仍为 deepseek-flash,调用方式和价格不变,在 Claude Code 框架下 Terminal-Bench 4.0 得分从 31.2 提升至 42.3。
Comfy-Org 在 Hugging Face 发布 MOSS-Image 官方权重,作者表示此前分享的 int8 量化版本已不再推荐,官方权重效果更好。相关改动见 ComfyUI 的 PR 17095,运行前需先更新 ComfyUI。
OpenMOSS 发布图像模型 MOSS-Image,已在 Hugging Face 上线 SFT 与 Base 两个版本,并给出 ComfyUI 接入说明。该模型基于 3.2B 图像训练,采用 Apache 2.0 许可,支持 JSON 与 BBOX 输入但不强制要求,同时兼容自然语言和 booru 标签提示词。
微软 AesCode 是一款代码生成模型,从图像生成器产出的参考中学习视觉设计,可生成信息密集的海报、幻灯片、仪表盘和网页,输出为可编辑的 HTML 与 CSS。该模型设计效果达到 SOTA,但体积偏大。
Black Forest Labs 发布 FLUX 3 Image Klein,一个 5.6B 参数的开源权重模型,支持文生图、图像编辑和最多 10 张参考图的多参考生成,具备原生 4K 生成、像素级编辑和边界框控制能力。
推荐理由:5.6B 参数的开源图像模型把 4K 生成与像素级编辑压到 8GB 显存可跑,可据此评估本地出图与改图方案。
昆仑万维发布 Matrix-Game 4.0,称其为世界首款运行在单张消费级显卡上的视频大模型游戏,已同步开源。该模型由游戏引擎维护世界状态与交互规则、视频生成模型实时呈现画面,在单张 NVIDIA RTX 5090 上实现 480p、60 FPS 体验,按键到画面响应延迟低于 150 毫秒。
Agnes 开源音视频生成模型 Agnes-Video-2.0-MoE,以约 153 亿参数的 DaVinci-MagiHuman 为基础,把 40 层网络中间 32 层的部分计算模块各扩展为三个专家,总参数量约 287 亿,单次激活参数量仍与改造前相当。
基于 Flux.1-dev 的单步真实图像超分模型 FluxSR 于 10 月 13 日公开训练、推理与评测代码及模型包,权重首次可在论文之外运行。
基于 Speridlabs 的 Iris-3B,作者在 Google Colab 的 A100 80GB 上完成约 30 亿参数模型本体的全参微调,公开了插画模型 Iris3B Illustration 和在此基础上追加 600 更新调整画风的 IrisKimi-3B-v1。
阿里通义开源 Qwen-Image-2.1-Turbo,基于 Qwen-Image-2.1 的加速 checkpoint,沿用同一套 7B 视觉生成架构,文生图与自然语言编辑只需 8 步去噪,官方称仍能生成 2K 图像并支持加配饰、换场景等连续编辑。
推荐理由:Qwen-Image-2.1-Turbo 以 8 步去噪实现 2K 文生图与自然语言编辑,并给出 Diffusers 与 API 两条上手路径。
清华与京东 Joy Future Academy 等团队开源 Self Gradient Forcing Plus(SGF+),通过分离上下文写入与去噪参数解决 SGF 中的梯度冲突,仅用 5 秒训练窗口即可实现最长 24 小时的自回归视频生成。
kandinskylab 发布 Kandinsky 6.0 Video 系列扩散模型,包含 3B 参数的 Lite 和 29B 参数的 Pro,可生成 5 秒带 44 kHz 同步音频(含对口型)的视频,支持文生音视频与图生音视频,并配有超分模型将输出提升至 Full HD(1920×1080)。
推荐理由:Kandinsky 6.0 开源了带同步音频与对口型的视频生成模型,并给出各档显卡的实测耗时,方便创作者评估本地部署成本。
腾讯混元联合复旦大学、浙江大学提出 Prism,一个用于原生训练 2K 联合视频音频生成模型的动态稀疏注意力框架,将 token 序列组织为时空宏区块并按局部内容动态分配块形状,训练速度相比全注意力提升 2.5 倍且生成质量更高。
NVIDIA 发布开源推理视觉语言模型 Cosmos Reason 2,在 Physical AI Bench 与 Physical Reasoning 榜单上成为排名第一的开源视觉理解模型。
Hugging Face 发布 Würstchen 图像生成扩散模型,其文本条件部分在高度压缩的潜空间中工作,通过 Stage A 的 VQGAN 与 Stage B 的 Diffusion Autoencoder 实现 42x 空间压缩,Stage C 作为 Prior 在该潜空间中训练。
推荐理由:Würstchen 用 42x 空间压缩把训练成本降到 SD1.4 的约六分之一,可据此评估低显存出图方案。
rinna 基于 Stable Diffusion 微调出日语专用文生图模型 Japanese Stable Diffusion,可理解日语固有词、拟声词与专有名词,生成日式风格图像。