Dusting the Phantom:面向动态高斯表示衰减内容的分配策略
针对动态高斯表示中快速移动小物体易丢失、高动态区域细节难恢复的问题,研究提出 Seed Injection 与 Temporal Biased Relocation 两种策略,分别利用时序外观变化与重建误差定位欠重建区域、用时间分辨优化信号引导高斯重定位。两者在不改变底层表示、维持固定高斯预算的前提下,于多个动态场景数据集上提升了重建质量。
针对动态高斯表示中快速移动小物体易丢失、高动态区域细节难恢复的问题,研究提出 Seed Injection 与 Temporal Biased Relocation 两种策略,分别利用时序外观变化与重建误差定位欠重建区域、用时间分辨优化信号引导高斯重定位。两者在不改变底层表示、维持固定高斯预算的前提下,于多个动态场景数据集上提升了重建质量。
研究者提出 MINE-SAMPLE-RENDER(MSR),一种测试时方法,从真实样本语料中挖掘可解释的分类模式并统计采样,再让生成模型仅作为条件渲染器输出采样配置,从而提升生成多样性。在天气报告生成、用户模拟、网页设计、文生图和智能体生成 3D 资产等任务上,MSR 改善了输出与语料分布的对齐度及多样性。
美国东北大学与 Adobe Research 提出 OmniMem,首次实现完整历史的长视频生成,让模型实时检索当前需要的记忆。该方法将完整分辨率历史 KV 保留在 CPU,按需召回 GPU,并围绕块级检索定制 Triton 与 CUDA 内核。
Apple 研究者提出首个从头预训练的三模态掩码扩散模型(MDM),同时处理文本、图文和音频-文本数据,并系统分析了多模态扩展规律、模态混合比例、噪声调度与批大小影响。
BBC 研发部门的 Osmia VP 项目在 IBC 上演示,用高斯泼溅(Gaussian splats)从真实场景的 2D 照片生成虚拟背景,配合基于 SLAM 的实时摄像机追踪和开源渲染器,组成端到端虚拟制作流程。
Agnes 开源音视频生成模型 Agnes-Video-2.0-MoE,以约 153 亿参数的 DaVinci-MagiHuman 为基础,把 40 层网络中间 32 层的部分计算模块各扩展为三个专家,总参数量约 287 亿,单次激活参数量仍与改造前相当。
一种面向扩散模型的校正训练方法可在不依赖 CFG 的情况下提升生成质量,测试基于 NanoGen 这一统一扩散 Transformer 实现,覆盖 ImageNet 与文生图任务。
StreamErase 实现单 GPU 上亚秒级延迟、最高 26 FPS 的流式视频擦除,可实时交互地移除视频中的目标物体。该方法先将双向基础模型的擦除能力逐步迁移到高效的单向流式擦除器,并采用带 attention sinks 的滑动窗口因果注意力与 KV cache rolling,实现固定上下文窗口下的恒定速度生成。
研究者提出 WorldCast 基准,包含 8 个类别共 320 个手工设计案例,用于评估多步世界状态预测任务,共测试 12 个代表性模型。GPT-Image-2.5 System 得分 72.8,展现出初步的真实世界视觉状态预测能力;Nano Banana Pro 仅得 42.8,最佳开源模型得分 20.1。实验还发现,强生成模型能有效借助其底层语言模型的能力。
RepForcing 提出用表征空间监督替代中间教师轨迹回归,为少步自回归视频生成器学习因果初始化,复用双向模型生成的合成视频,无需额外生成因果 ODE 轨迹。在四步采样下,该方法经 DMD 后将 VBench Total 从 84.04 提升至 84.66(+0.62),VisionReward 从 6.326 提升至 10.074(+59.25%)。
XGEN 团队提出生成式世界模拟框架,将可计算世界引擎 DAO 与第一人称交互体验模型 JING 结合,实现持续的人机交互。DAO 维护角色、物体与空间状态及其关系,按交互规则和世界时间推进并保留历史行为后果,再为 JING 派生观察者专属条件,生成对应的视听体验。用户可通过视角控制与文本指令探索环境、操作物体并与角色交流,其行为同时改变共享世界状态与后续体验。
研究者推出 Orbia,首个系统评估交互式世界模型 3D 一致性的基准,从输入保持、生成内容持久性和 3D 自一致性三个维度展开评测。该基准汇集公开数据集、自采场景与仿真,构建 720 个室内外实例和六种探索-重访协议,覆盖 27 个文本、动作与相机条件模型。
研究发现,原生 flow matching 采样器的轨迹可由常数轮并行模型评估模拟,增加采样步数无法提升固定深度主干模型的表达能力。自条件机制(用上一步估计结果作为条件)能打破这一瓶颈:在多种视觉推理任务上,带自条件的 flow matching 准确率更高、推理深度更大,且性能随采样步数增加而提升;理论上固定深度主干可达到空间有界图灵机的表达能力。
针对交互式视频生成依赖小双向分块降低延迟的问题,研究者提出 Speculative Sampling,通过将噪声 latent 作为填充扩展建模窗口,并缓存预测结果在条件不变时复用,从而兼顾大双向窗口的画质与小分块的交互低延迟。延迟分析显示该方法消除了分块边界带来的等待时间下界,使双向窗口大小成为可联合优化画质与采样时间的决策变量,无需复杂流式后训练即可在交互式流式系统中服务大双向模型。
Intern Lumina U2 是首个在全离散空间表示多码本视觉 token 的扩散语言模型,每个视觉位置由一组来自互补码本的编码表示,输入端按位置拼接嵌入,输出端用轻量多码本自回归头逐位预测编码,扩散主干并行处理所有位置。
Glance Forcing 提出一种轻量蒸馏框架,将双向扩散模型转为因果少步学生模型,仅用一条 PF-ODE 轨迹就把轨迹采集成本从数千 GPU 小时降至约 1 个 A100 GPU 小时。
牛津大学、莫纳什大学与布里斯托大学团队提出交互式视频世界模型 Oneira,通过 Coding Agent 维护的 World State Table 记录场景物体及其状态,将"世界状态"与"画面生成"分开处理。
智谱GLM-5.3-Highspeed在Zcode社区出现灰度反馈,部分3.15.1订阅用户随机获得该高速生成版本,普遍开放范围与API定价尚未确认。微软发布Microsoft-Decision-1,基于Qwen3.5-9B后训练,单次前向计算完成是非判断、候选选择与量表评分,已在Foundry公开预览及OpenRouter提供托管接入。
研究者提出一种可扩展的在线熵最优传输近似方法,使流匹配训练中源样本与数据的配对批量显著增大,同时保留最优传输的收益。理论证明该方法在无正则与熵正则情形下均严格降低全随机梯度方差与积分误差,且改善随在线耦合批量增大而增强。单细胞基因插值流与图像流训练实验验证了更大在线耦合能持续提升训练稳定性和最终生成性能。
被 NeurIPS 2026 Evaluations and Datasets Track 接收的 TerraVis 提出文生图「世界一致性」评估框架,覆盖物体、交互、场景三层共 18 类问题,既给分数也指出具体问题、视觉证据与严重程度。
研究团队提出 SyncReward,一个用于音视频生成同步性评估与优化的奖励模型,并发布含 80K 专业同步评分的 SyncReward-Data-80K 数据集与 1K 片段的 SyncReward-Bench 基准。该模型在评测中与人类评分一致性最高,并可通过推理时 best-of-N 选择与强化学习后训练提升生成同步性。数据、基准、模型与代码将开源。
作者发布流式视频生成工作 SGF+(Decoupling Gradient Flows for Autoregressive Video Generation),在只用 5 秒训练窗口的情况下改善视觉质量与长视频一致性,并展示最长 24 小时连续生成。
YuE2 改变音乐生成思路,先产出一份可读可改的 ABC 记谱法乐谱,再渲染成 48 kHz 立体声成品,人声与伴奏齐全。代码采用 Apache 2.0,模型权重为 CC BY-NC 4.0,个人创作者和音乐人可免费用权重产歌并变现,商用集成需另行授权。
NVIDIA 发布 Cosmos3-Nano 在 LIBERO-10 上后训练的动作策略检查点 S5_2,为 Cosmos Cookbook 合成数据对照研究中的一个实验单元。
NVIDIA 发布 Cosmos3-Nano 在 LIBERO-10 上后训练的动作策略检查点 S5_all,属 Cosmos Cookbook 合成数据对照实验的一个单元。
清华与京东 Joy Future Academy 等团队开源 Self Gradient Forcing Plus(SGF+),通过分离上下文写入与去噪参数解决 SGF 中的梯度冲突,仅用 5 秒训练窗口即可实现最长 24 小时的自回归视频生成。
Reka AI 发布 190 亿参数全模态模型 Rho-1 的研究预览版,在单一神经网络内处理并生成文本、图像、视频和机器人控制动作,所有模态以 token 形式运行在同一上下文窗口中,无需工具调用或外部模型。
研究团队提出 "Image-to-Code" 方法,让编码智能体从单张照片生成可执行的 Blender 程序,并推出 LEGO-Bench 基准(208 张图像、104 个场景、443 个资产)评测效果。
阿里巴巴开源 SparkDiffusion,一个面向 DiT 视频生成模型的加速框架,结合稀疏低秩注意力 RoLa、少步蒸馏 CrossDistill 与自研高性能算子,相比稠密多步基线实现 200 倍以上端到端推理加速。
推荐理由:阿里开源 SparkDiffusion,用稀疏注意力与少步蒸馏把 Wan 2.1/2.2 推理提速 200 倍以上,并放出多档权重。
Epidemic Sound 与牛津大学 VGG 合作推出音频-文本检索框架 AuroLA,基于开源 Qwen2.5-Omni-7B,将多模态大模型同时用作快速检索与精排骨干,在所有测试基准上超越此前最优,训练数据量约为同类系统的 1%。该框架已投入生产,支撑 Epidemic Sound 的音效搜索,并开源了 1,297 条人工标注音效验证基准,采用 CC BY-NC-ND 4.0 许可。
Google DeepMind 推出 D4RT(Dynamic 4D Reconstruction and Tracking),一个统一 4D 场景重建与追踪的 AI 模型,采用编码器-解码器 Transformer 架构和查询机制,可同时完成点追踪、点云重建与相机位姿估计。
OpenAI 对连续时间一致性模型做了简化、稳定化和规模化改进,仅用两步采样即可达到与主流扩散模型相当的样本质量。
CinePile 2.0 发布,这是长视频问答数据集 CinePile 的升级版,采用新提出的对抗式精炼方法改进数据质量。初版 CinePile 于 2024 年 5 月推出,含约 30 万训练样本和 5000 测试样本,人类在该基准上比最好的商业视觉模型高 25%、比开源模型高 65%。团队同时开源了对抗式精炼方法的实现,可用于强化现有数据集。
OpenAI 提出 Consistency Models,可在不依赖迭代采样的情况下实现图像、音频和视频生成。扩散模型虽推动了这些领域的发展,但其迭代采样过程导致生成速度缓慢。
OpenAI 探索在视频数据上大规模训练生成模型,将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像,并采用在视频和图像 latent code 的时空 patch 上运行的 transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,结果表明扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
推荐理由:OpenAI 首次公开 Sora 的技术路线,说明视频生成模型可扩展为物理世界模拟器。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作为 Stable Diffusion XL 提供 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 等条件的 checkpoint。
推荐理由:对比 ControlNet 的参数量与推理开销,给出 T2I-Adapter 在 SDXL 上的可控生成方案与可复用训练脚本。
苹果与 Hugging Face 将 Stable Diffusion XL 基础模型移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上使用,目前采用 ORIGINAL attention 实现,refiner 阶段尚未移植。
推荐理由:苹果与 Hugging Face 联合给出 SDXL 在 Mac 上的 Core ML 混合位量化方案,附各机型实测延迟与压缩配方。
Perceiver IO 已加入 Hugging Face Transformers,这是首个能处理文本、图像、音频、视频、点云等多种模态及其组合的 Transformer 类神经网络。
OpenAI 发现,在语言上训练的大型 Transformer 模型,改用像素序列训练后同样能生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性,表明其最佳生成模型在无监督设定下所包含的特征可与顶级卷积网络媲美。
OpenAI 开发出 Sparse Transformer,一种在预测文本、图像或声音序列下一项任务上刷新纪录的深度神经网络。它通过改进注意力机制的算法,可从比以往长 30 倍的序列中提取模式。