Code2Video-Compass:覆盖 T2V、I2V、V2V 的通用代码视频生成基准
Code2Video-Compass 是一个面向代码视频生成的通用基准,覆盖 T2V、I2V、V2V 三种设定,包含 10 大类、24 个子类共 2,104 个任务。
Code2Video-Compass 是一个面向代码视频生成的通用基准,覆盖 T2V、I2V、V2V 三种设定,包含 10 大类、24 个子类共 2,104 个任务。
RLSplat 提出一种资源线性预算可控的前馈 3D Gaussian Splatting 框架,表示规模、推理延迟与峰值内存随 Gaussian 预算减少而线性下降。
WorldStream 是一个开放式 3D 世界模型,可把可玩地形扩展到预设地图之外、响应运行中世界里的开放式语言指令,并在重返旧地时还原此前的编辑。它用分层规划器输出结构化决策状态:Macro 固定一组瓦片的地貌与水文结构,Micro 将其细化为瓦片语义,再由确定性本地代码编译成地形、道路、聚落、植被与实体。单一世界记录保存规划、种子、对象身份、可变状态与编辑,支撑有界预算下的持续扩展与交互。
StyleStream 2.0 提出快速可控的流式语音风格转换框架,在消费级 GPU 上把端到端延迟从 1.0 版的约 1s 降到 520ms,实现 2 倍加速且保持转换质量。
StreamEval 是一个覆盖虚拟人对话、虚拟人表演、世界生成、指令编辑和参考编辑五类任务的交互式流式视频生成统一基准,包含 300 个时长 15-300s 的脚本化测试用例,从任务执行、状态一致性、视觉保真度和视听协调四个维度以 0-100 分制评估。
PhysSkin++ 提出一种物理信息框架,从静态几何中学习连续神经蒙皮场,构建紧凑形变子空间,无需逐物体训练网络即可跨形状泛化。其神经蒙皮场自编码器配合物理信息自监督学习策略,在无仿真轨迹条件下稳定联合优化,支持网格、点云与 3D Gaussians 的直接动画绑定及实时降维仿真。实验验证了跨形状泛化、实时仿真与可控碰撞感知动画等应用。
VideoMaMa++ 提出一种掩码引导的扩散视频抠像框架,通过 preserve token 与 refine token 两个可学习嵌入实现滑动窗口推理,把已生成 matte 跨 chunk 边界传播,并用全局共享参考锚点防止长序列误差累积,无需额外训练。
PVBench 是一个量化评估生成视频物理合理性的基准,覆盖 46 个维度、7 大领域,包含 600 条精心设计的提示词,其中 30% 涉及机械臂、人形机器人、四足机器人等具身智能体。
SEAM 是一种零音频初始化方法,用已知子词为未见 token 构建嵌入,通过频谱滤波保留时序音素顺序,并用闭式岭回归将新嵌入对齐到预训练条件流形。在三种语言和两种 TTS 架构上,SEAM 用最多少 4 倍的训练数据即可接近或匹配基线,相比随机初始化和均值池化将样本复杂度降低 75%。该工作已被 EMNLP 2026 Findings 接收。
论文提出 StreamingSwap,一个参考引导的流匹配框架,用于实时流式视频换脸。方法上引入 Joint Rec-ID Loss,按噪声水平平衡显式身份监督与隐式重建,并通过 Face-RoI Generation 与 Short-Context Rollout Training 减少空间 token 和时序上下文。
SWIFT 是一种自引导训练方法,用冻结的弱去噪器外推干净回归目标,提升更强扩散模型且不增加推理开销。在 ImageNet-256 上,它以约一半总训练算力超过基线最佳 FID;在 RAEv2 上无引导推理 FID 为 1.15,加引导为 0.99。
SpecKCast 是一种免训练方法,在频域预测扩散模型输出以跳过冗余去噪步骤:对输出做 2D DCT,再用轻量卡尔曼滤波沿噪声调度导出的频带时间坐标跟踪每个系数的值与变化率,仅当预测不确定性超阈值时才调用 transformer。
中广天择数智中心正以6个机位同步拍摄、两个月产出万小时级4D连续多视角视频数据集,客户为国内头部模型厂商、通讯运营商和电商,半年报中已出现电信与阶跃星辰。业务主打自采自标、安全合规、开箱即用,并自研多视角标定与声学数据集,定制化项目占比高、交付验收合格后才付款。
学术团队提出 Brain-IT,利用 Brain Interaction Transformer(BIT)通过 fMRI 扫描大脑体素并借助扩散过程重建视觉图像,在仅训练一小时的情况下准确度超过 MindTurner、MindEye2、NeuroVLA 等此前模型。
MT Forcing 是一种面向统一多模态模型(UMM)的多轮图像编辑训练范式,基于自回归扩散,旨在解决多轮编辑后视觉质量不稳定与内容不一致的漂移问题。
研究者提出 Painting Change Map,一种显式追踪 1000 个时间步内归一化结构变化的时空控制机制,可同时引导正向绘画与反向"卸画"过程。该方法将局部视觉差异编码进 RGB 空间,实现笔画级细粒度控制,在基准测试中优于现有控制基线,并在 oracle 条件下显著超越所有基线。代码已开源。
HumanSkill-4D 提出免训练框架,用共享的多模态大语言模型和几何算子,从语言查询中选出可动画高斯化身的局部区域,并可指定姿态或动作匹配时间段。方法通过语义记忆将身体部位与服装类别绑定到持久高斯区域,并用运动记忆中的驱动关节轨迹组合算子程序,使选择可追溯。团队构建三个真人标注 benchmark,其在部位分割及 3D、4D 指代分割上优于基线,每个化身仅需数分钟设置。
UniAVC 用单一模型权重实现文本条件联合生成、双向跨模态生成与指令引导编辑,无需任务专用适配器。它先在单模态数据上训练各分支至完整生成与编辑能力,再把配对数据用于跨模态对应关系;模态解耦调度器从共享时间步独立变换噪声调度,并以单模态干净样本直接监督非对称配置。由此支持意图感知编辑与推理后自优化,仅重生成不满意的一侧。
LayerEditor 统一框架将指令引导的图像编辑与可复用 RGBA 图层生成耦合,核心是 In-Context RGB-Alpha Token Modeling,在单一 token 序列中联合表示编辑画布与有序 RGBA 图层。
腾讯光子与 NUS 提出 Orbia 视频世界模型评测基准,用 720 个探索与回访案例测试 27 个模型,检查已知场景保留、新生成内容持久性与跨视角 3D 一致性。SolarWM-H3 以 76.32 居综合第一,Lyra2、EVOKE 分列二三位;长视频生成内容持久性普遍低于短视频,世界模型组前进后退轨迹平均分从 66.21 降至 40.96。
Gen4P 提出一个统一框架,可将预训练视频生成器改造成前馈式 4D 感知器,无需迭代去噪,单次编码器前向即可处理干净视频 latent 并预测所需 4D 属性。其按需查询支持灵活空间采样,连续时间查询提供时间灵活性,并可将预训练 video-depth LoRA 作为冻结几何先验即插即用。Gen4P 在 3D 点跟踪、视频深度和相机位姿估计任务上达到 SOTA 或具竞争力表现。
SUPRA-Tex 提出一种单图3D生成方法,通过解耦可见材质估计、表面对齐与观测引导的3D补全,实现与参考图的超对齐。该方法先用基于 MLLM 的图像编辑模型预测参考视角下光照分离的 PBR 贴图,再投影到可见表面并编码为原生观测隐变量,由交错流 Transformer 固定为只读锚点生成完整材质隐变量。
OmniVerifier-C1 提出一种分解式分级视觉验证器,可将复杂提示或环境规则拆解为细粒度子问题并逐项打分,替代传统只输出 True/False 的二元验证器。
CoWorld Reasoner 是一个以视频世界模型(VWM)为统一视觉推理引擎的智能体框架,通过工具暴露多种视觉操作,并让 VLM 自主决定是否想象、选择操作并解读生成的视觉证据。
EVA-Cap 框架将音视频描述拆解为原子级音视频事件,把非结构化文本监督转为事件中心对齐,通过 SFT 和 GRPO 在自建数据集 EVA-Data 上训练,GRPO 阶段围绕全局事件完整性、事件内归因和事件间同步三个目标优化。在 ChronusAV 的事件中心评测上平均提升 9.0%,在 WorldSense 上提升 3.3%,论文已被 NeurIPS 2026 接收,代码将开源。
SCOPE 是一种基于 GRPO 的强化学习目标,让提示词改写模型在生成增强提示的同时输出语义分区,并按语义跨度池化策略对数概率变化,为跨度内 token 共享损失系数。在 Qwen-Image、SD3 和 FLUX.1-dev 上,SCOPE 相对原始 GRPO 在 GeneVal 平均提升 9.48%、在 T2I-CompBench 提升 7.62%,且无需额外跨度奖励或图像渲染。
Velox 是一种免训练的注意力路由器,利用流式几何中的视锥板块对应关系做区域级上下文选择,解决分块视频扩散模型 KV 缓存随 rollout 增长而变慢的问题。在第 48 个分块时,Velox 将注意力加速 4.36 倍、去噪加速 2.43 倍,并在全部 158 个案例的 WBench 导航测试集上,与稠密 LingBot-Fast-Cam 的平均分差保持在 0.15 以内。
针对扩散模型强化学习中扰动反向去噪轨迹导致 rollout 优化成本高的问题,RPO 将注意力路由变为随机探索动作,在若干去噪层级按原生注意力权重采样 key block,并用双 rollout 估计器提供优势信号。在文生图与文生视频任务上,RPO 提升生成质量的同时训练效率较 Flow-GRPO 类方法提升近 4 倍,推理时恢复稠密注意力并保留原始确定性采样器。
Speculative Forcing 将自回归视频生成中的中间干净估计当作草稿,预测哪些 token 可提前接受并冻结为最终输出,从而跳过后续去噪步骤。在 LongLive 上它以约 1.7 步去噪达到四步生成器质量,速度提升超 1.5 倍,达 41.7 和 37.8 fps;在 Lingbot-World 2.0 上以约 2.5 步维持质量,提速 1.35 倍,达 24.5 fps。
MOSS-Image 是一个开源图像生成系统,从零预训练 5B 单流扩散 transformer(DiT),支持中英双语长文本渲染与精确布局控制,并配备意图感知的智能体提示增强模块。在长文本渲染基准 LongLongTextBench 上,其平均文本覆盖率达 96.3%,居开源权重模型首位;在 RealLayoutArena 端到端系统对比中排名第二。团队将开源模型、训练配方与评测框架。
研究者提出 LILIE(Language-Informed and Lossless Image Encoder),一种可逆图像变换,通过与视觉语言模型联合训练,使模型能从加噪特征中还原图像描述,并据此为文生图构建语言信息损失。
PPMem 是一种以平面基元作为持久 3D 记忆的视频世界模型,通过为视频扩散 transformer 增加平面预测头和 Depth Token Fusion(DTF)模块,让每个自回归分块同时生成 RGB 视频与平面几何。
MTEdit 通过以打包轨迹画布(PTC)生成为核心的流水线构建多轮图像编辑数据集,包含 500K 条轨迹、最多 8 轮、平均 5.38 轮,以减少逐轮 rollout 带来的视觉质量漂移。
研究提出 MIST 评测,将"场景是否设定"与"指令变更是否执行"分离,发现视频世界模型的瓶颈在于未执行指令变更而非遗忘。配套方法 M3-Agent 通过递归改写输入指令细节,使 MIST reveal 分数提升三倍以上,WRBench 的 T 分数提高 26.1%,MBench-T 的 U 分数提高 52.7%。
港科大 MMLab@HKUST、腾讯视频与香港大学提出 Adaptive Reward Routing,在 DiffusionNFT 框架上让音视频扩散模型的多奖励路由随训练实时重算,而非从基座模型一次性固定。
AReA 是一种免训练注意力机制,让感受野随去噪过程从粗到细演化:早期对下采样后的 key/value 做跨尺度粗注意力以捕捉全局结构,后期在逐步收缩的窗口内做局部注意力以精修细节。实验显示其在各目标分辨率与不同模型上均优于现有免训练基线,且速度更快、效率更高。目前仅开源 flux1-krea-dev 代码,Qwen-Image、Ideogram 4 与 Flux2 支持"即将推出"。
研究提出 Knowledge Transfer Probing(KTP)协议,通过图像生成训练向统一多模态模型(UMMs)注入新知识,再用纯文本问答测试其可获取性。
针对联合音视频生成模型出现的多事件组合、多层音频混合与非对称跨模态关系,研究者提出以事件为中心的评估框架 AVC-Reward,在事件层面解耦音视频事件并跨模态交叉验证,聚合成粗到细的三级一致性指标。
OmniXRef 是一个支持文本、图像、视频多种参考组合的多模态多参考视频编辑统一框架,其 OmniXRef-Model 采用单流扩散 transformer 联合处理源视频与 MLLM 多模态上下文。
ACEdit 提出一种训练方案,让图像编辑模型在多轮连续编辑中保持稳定。其核心是把 Self-Forcing 引入图像编辑,训练时强制编辑器处理自己上一轮的输出,并用教师编辑器提供蒸馏信号;教师始终锚定原始干净图像并接收复合编辑指令,形成非对称条件。实验显示长多轮序列中的质量退化明显减少,同时保持编辑质量与指令遵循度。