JVT:Just Video Transformer 让像素空间视频扩散变得简单
JVT(Just Video Transformer)提出一种简单的大 patch DiT 风格 Transformer,用于像素空间视频扩散,无需预训练自编码器或 U-Net 式跳跃连接。其生成质量在类条件与无条件设置下与潜在扩散基线相当,并支持像素对齐模态的联合生成。通过相机条件 RGB-视差生成,JVT 改善了相机跟随,且无需额外重建模型即可获得显式场景几何。
JVT(Just Video Transformer)提出一种简单的大 patch DiT 风格 Transformer,用于像素空间视频扩散,无需预训练自编码器或 U-Net 式跳跃连接。其生成质量在类条件与无条件设置下与潜在扩散基线相当,并支持像素对齐模态的联合生成。通过相机条件 RGB-视差生成,JVT 改善了相机跟随,且无需额外重建模型即可获得显式场景几何。
PixVid 将预训练潜空间视频模型改为直接在像素空间逐帧生成,用卷积头替代 VAE 解码器。该方法从 Wan2.1-14B 微调,约 1.3M 训练片段即可接近潜空间基线,并以相同每帧 token 数生成 2× 更高分辨率。它在快速运动下保持深度条件编辑对齐,并能对每个动作在下一帧响应。
NitroFusion2将对抗扩散蒸馏的少步生成从常规4-8步降至1-2步,质量相当。它通过文本流对抗蒸馏(TSAD)和方面提示判别(ACD)利用MMDiT文本流作为可操控的对抗表示。一步生成即可产生清晰渲染文本和丰富细节,两步时在评估基准中保持竞争力。
MoviEdit是一个端到端框架,用于可扩展的长视频多镜头编辑,同时解决数据、建模和评估挑战。它通过自动数据生成管道产生87K配对编辑视频,无需人工标注,并采用级联双向自回归设计,在时空压缩表示上建立全局一致的编辑草稿,再自回归传播细化。MoviEdit-Bench基准测试显示,MoviEdit显著优于现有开源模型,并在文本引导和图像引导编辑方面与行业前沿模型持平。
Wave Forcing(WF)提出一种面向实时长视频生成的连续流式生成方法,在 Wan2.1-T2V-1.3B 上以5步去噪保持与 Rolling Forcing 相当的质量并提升动态度。
微软团队提出 Code Video Model,由 Coding Agent 将 Prompt 转化为 Three.js 程序,把几何布局、物体运动、相机轨迹和事件时序统一为可执行场景表示,程序渲染的预演视频为视频模型提供时空参考。
推荐理由:微软团队用可执行代码替代提示词控制视频生成,免训练的阶段化条件调度让镜头设计在生成前可检查可修改。
OmniShowcase 提出一种从多视角图像生成全向主体一致视频的方法,通过自动数据合成与几何条件化实现 360 度环绕视角下的主体一致性。实验显示其在主体身份和 3D 一致性上达到当前最优,同时保持有竞争力的视频质量与运动。研究还构建了 Showcase-4K 数据集(12 种相机运动、88 种轨迹配置)和 ShowcaseBench 评测集。
北大、复旦、南洋理工团队在 Open-o3-Video 基础上提出 Open-o3-Video-v2,把视频推理改为“发现信息缺口→主动裁剪片段→定位时空证据→融入推理”的多轮智能体流程。
RubatoCodec 是基于 X-Codec-2 的可变帧率语音编解码器,通过 utterance 级事件预算和流式解码实现自适应分词。其 Adaptive Firing 机制利用编解码特征与波形频谱变化划分变长事件,无需学习边界预测器。在低事件率下重建保真度和可懂度优于固定帧率编码,英日基准上可懂度保持最佳,匹配 TTS 对比中 WER 更低、UTMOS 与 UTMOSv2 更高。
DirCast 用单一流式视频语言模型同时完成电竞赛事直播的导播与解说:每秒低分辨率扫描全部选手镜头,由 hold-or-switch 导播模块决定是否切镜,再高分辨率读取所选镜头后开口解说。
SolarRenderer 是一种结构条件视频渲染器,基于冻结的 MiniMax-H3 33B 主干加两个轻量 LoRA,从预训练四步 LoRA 出发实现四步渲染,比 50 步采样快 12.3 倍。
研究者提出一个模型,可为任意骨骼绑定直接联合生成视频与 3D 运动,并估计相机把运动配准到 3D 场景。它把支持任意骨架的 3D 运动模型与预训练视频模型通过少量 cross-attention 层连接,用约 200K 训练对训练,评测中比 video-first 流程更忠实地按文本驱动多种骨骼,并支持视频转骨骼运动、骨骼运动转视频及关键帧控制。
ActionRoPE 提出一种无参数动作接口,将动作驱动的相机位移转换为世界坐标旋转位置,使同一世界位置的 token 在时间上保持相同位置地址,并配合 Coordinate-Conditioned Noise Scheduling(CNS)按已知-新区域分配去噪调度。
研究团队提出 Halcyon 系列早期融合多模态自回归模型,完全从零在 1 亿图文对数据集 GPIC 上预训练,证明强 T2I 生成不依赖互联网规模语言预训练。
RoAR-VAE 通过从损坏的潜变量中预测语义特征与重建干净图像,提升视觉 tokenizer 的潜空间可扩散性。在相同训练预算下,其生成基准平均性能比最强基线 tokenizer 高 2.19 分,小文本重建准确率比 FLUX.1-VAE 高 16.93 个百分点。
DeOverlay 是一个源锚定流模型,从源潜变量出发、以固定源引导重建干净视频,通过区域加权流匹配训练共享速度网络,实现从中间状态的连续校正。团队同时发布 DVTE-Bench,含 8 类文字叠加共 1,631 对视频,配 OCR 筛选的干净目标与帧对齐像素掩码。
研究者提出 Fréchet Forcing,通过生成锚定、上下文保真与真实感匹配三项约束,在无需教师模型、在线判别器和长视频的情况下微调世界模型及其多步采样器。在 253 帧片段上预训练的 MiniWorld-1B 经最多 36 GPU 小时、381 帧片段微调后,rollout 可稳定超过 4,000 帧,并在机器人操作与相机控制探索中持续跟随动作指令。
研究者提出 Painting Change Map,一种显式追踪 1000 个时间步内归一化结构变化的时空控制机制,可同时引导正向绘画与反向"卸画"过程。该方法将局部视觉差异编码进 RGB 空间,实现笔画级细粒度控制,在基准测试中优于现有控制基线,并在 oracle 条件下显著超越所有基线。代码已开源。
HumanSkill-4D 提出免训练框架,用共享的多模态大语言模型和几何算子,从语言查询中选出可动画高斯化身的局部区域,并可指定姿态或动作匹配时间段。方法通过语义记忆将身体部位与服装类别绑定到持久高斯区域,并用运动记忆中的驱动关节轨迹组合算子程序,使选择可追溯。团队构建三个真人标注 benchmark,其在部位分割及 3D、4D 指代分割上优于基线,每个化身仅需数分钟设置。
UniAVC 用单一模型权重实现文本条件联合生成、双向跨模态生成与指令引导编辑,无需任务专用适配器。它先在单模态数据上训练各分支至完整生成与编辑能力,再把配对数据用于跨模态对应关系;模态解耦调度器从共享时间步独立变换噪声调度,并以单模态干净样本直接监督非对称配置。由此支持意图感知编辑与推理后自优化,仅重生成不满意的一侧。
SUPRA-Tex 提出一种单图3D生成方法,通过解耦可见材质估计、表面对齐与观测引导的3D补全,实现与参考图的超对齐。该方法先用基于 MLLM 的图像编辑模型预测参考视角下光照分离的 PBR 贴图,再投影到可见表面并编码为原生观测隐变量,由交错流 Transformer 固定为只读锚点生成完整材质隐变量。
MOSS-Image 是一个开源图像生成系统,从零预训练 5B 单流扩散 transformer(DiT),支持中英双语长文本渲染与精确布局控制,并配备意图感知的智能体提示增强模块。在长文本渲染基准 LongLongTextBench 上,其平均文本覆盖率达 96.3%,居开源权重模型首位;在 RealLayoutArena 端到端系统对比中排名第二。团队将开源模型、训练配方与评测框架。
PPMem 是一种以平面基元作为持久 3D 记忆的视频世界模型,通过为视频扩散 transformer 增加平面预测头和 Depth Token Fusion(DTF)模块,让每个自回归分块同时生成 RGB 视频与平面几何。
OmniXRef 是一个支持文本、图像、视频多种参考组合的多模态多参考视频编辑统一框架,其 OmniXRef-Model 采用单流扩散 transformer 联合处理源视频与 MLLM 多模态上下文。
ACEdit 提出一种训练方案,让图像编辑模型在多轮连续编辑中保持稳定。其核心是把 Self-Forcing 引入图像编辑,训练时强制编辑器处理自己上一轮的输出,并用教师编辑器提供蒸馏信号;教师始终锚定原始干净图像并接收复合编辑指令,形成非对称条件。实验显示长多轮序列中的质量退化明显减少,同时保持编辑质量与指令遵循度。
Agnes 开源音视频生成模型 Agnes-Video-2.0-MoE,以约 153 亿参数的 DaVinci-MagiHuman 为基础,把 40 层网络中间 32 层的部分计算模块各扩展为三个专家,总参数量约 287 亿,单次激活参数量仍与改造前相当。
XGEN 团队提出生成式世界模拟框架,将可计算世界引擎 DAO 与第一人称交互体验模型 JING 结合,实现持续的人机交互。DAO 维护角色、物体与空间状态及其关系,按交互规则和世界时间推进并保留历史行为后果,再为 JING 派生观察者专属条件,生成对应的视听体验。用户可通过视角控制与文本指令探索环境、操作物体并与角色交流,其行为同时改变共享世界状态与后续体验。
Intern Lumina U2 是首个在全离散空间表示多码本视觉 token 的扩散语言模型,每个视觉位置由一组来自互补码本的编码表示,输入端按位置拼接嵌入,输出端用轻量多码本自回归头逐位预测编码,扩散主干并行处理所有位置。
NVIDIA 发布 Cosmos3-Nano 在 LIBERO-10 上后训练的动作策略检查点 S5_2,为 Cosmos Cookbook 合成数据对照研究中的一个实验单元。
NVIDIA 发布 Cosmos3-Nano 在 LIBERO-10 上后训练的动作策略检查点 S5_all,属 Cosmos Cookbook 合成数据对照实验的一个单元。
清华与京东 Joy Future Academy 等团队开源 Self Gradient Forcing Plus(SGF+),通过分离上下文写入与去噪参数解决 SGF 中的梯度冲突,仅用 5 秒训练窗口即可实现最长 24 小时的自回归视频生成。
Reka AI 发布 190 亿参数全模态模型 Rho-1 的研究预览版,在单一神经网络内处理并生成文本、图像、视频和机器人控制动作,所有模态以 token 形式运行在同一上下文窗口中,无需工具调用或外部模型。
阿里巴巴开源 SparkDiffusion,一个面向 DiT 视频生成模型的加速框架,结合稀疏低秩注意力 RoLa、少步蒸馏 CrossDistill 与自研高性能算子,相比稠密多步基线实现 200 倍以上端到端推理加速。
推荐理由:阿里开源 SparkDiffusion,用稀疏注意力与少步蒸馏把 Wan 2.1/2.2 推理提速 200 倍以上,并放出多档权重。
Google DeepMind 推出 D4RT(Dynamic 4D Reconstruction and Tracking),一个统一 4D 场景重建与追踪的 AI 模型,采用编码器-解码器 Transformer 架构和查询机制,可同时完成点追踪、点云重建与相机位姿估计。
OpenAI 探索在视频数据上大规模训练生成模型,将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像,并采用在视频和图像 latent code 的时空 patch 上运行的 transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,结果表明扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
推荐理由:OpenAI 首次公开 Sora 的技术路线,说明视频生成模型可扩展为物理世界模拟器。