跳到正文
日期与来源

日期按北京时间的资讯列表日期计算,包含起止当天。

11月13日周五
  1. Hugging Face Daily Papers24

    JVT:Just Video Transformer 让像素空间视频扩散变得简单

    JVT(Just Video Transformer)提出一种简单的大 patch DiT 风格 Transformer,用于像素空间视频扩散,无需预训练自编码器或 U-Net 式跳跃连接。其生成质量在类条件与无条件设置下与潜在扩散基线相当,并支持像素对齐模态的联合生成。通过相机条件 RGB-视差生成,JVT 改善了相机跟随,且无需额外重建模型即可获得显式场景几何。

11月12日周四
  1. Hugging Face Daily Papers37

    PixVid 如何把潜空间视频扩散提升到像素空间

    PixVid 将预训练潜空间视频模型改为直接在像素空间逐帧生成,用卷积头替代 VAE 解码器。该方法从 Wan2.1-14B 微调,约 1.3M 训练片段即可接近潜空间基线,并以相同每帧 token 数生成 2× 更高分辨率。它在快速运动下保持深度条件编辑对齐,并能对每个动作在下一帧响应。

11月5日周四
11月2日周一
  1. Hugging Face Daily Papers29

    MoviEdit:让长视频多镜头编辑变得简单

    MoviEdit是一个端到端框架,用于可扩展的长视频多镜头编辑,同时解决数据、建模和评估挑战。它通过自动数据生成管道产生87K配对编辑视频,无需人工标注,并采用级联双向自回归设计,在时空压缩表示上建立全局一致的编辑草稿,再自回归传播细化。MoviEdit-Bench基准测试显示,MoviEdit显著优于现有开源模型,并在文本引导和图像引导编辑方面与行业前沿模型持平。

10月31日周六
10月26日周一
  1. 机器之心Pro · 搜狐公开专栏70

    微软提出 Code Video Model:用可执行代码控制视频生成

    微软团队提出 Code Video Model,由 Coding Agent 将 Prompt 转化为 Three.js 程序,把几何布局、物体运动、相机轨迹和事件时序统一为可执行场景表示,程序渲染的预演视频为视频模型提供时空参考。

    推荐理由:微软团队用可执行代码替代提示词控制视频生成,免训练的阶段化条件调度让镜头设计在生成前可检查可修改。

  2. Hugging Face Daily Papers25

    OmniShowcase:多视角图像的全向主体一致视频生成

    OmniShowcase 提出一种从多视角图像生成全向主体一致视频的方法,通过自动数据合成与几何条件化实现 360 度环绕视角下的主体一致性。实验显示其在主体身份和 3D 一致性上达到当前最优,同时保持有竞争力的视频质量与运动。研究还构建了 Showcase-4K 数据集(12 种相机运动、88 种轨迹配置)和 ShowcaseBench 评测集。

10月25日周日
10月22日周四
  1. Hugging Face Daily Papers38

    RubatoCodec:带预算的自适应语音分词与流式解码

    RubatoCodec 是基于 X-Codec-2 的可变帧率语音编解码器,通过 utterance 级事件预算和流式解码实现自适应分词。其 Adaptive Firing 机制利用编解码特征与波形频谱变化划分变长事件,无需学习边界预测器。在低事件率下重建保真度和可懂度优于固定帧率编码,英日基准上可懂度保持最佳,匹配 TTS 对比中 WER 更低、UTMOS 与 UTMOSv2 更高。

10月21日周三
  1. Hugging Face Daily Papers47

    Joints, Camera, Action!:为任意骨骼绑定联合生成 3D 运动与视频

    研究者提出一个模型,可为任意骨骼绑定直接联合生成视频与 3D 运动,并估计相机把运动配准到 3D 场景。它把支持任意骨架的 3D 运动模型与预训练视频模型通过少量 cross-attention 层连接,用约 200K 训练对训练,评测中比 video-first 流程更忠实地按文本驱动多种骨骼,并支持视频转骨骼运动、骨骼运动转视频及关键帧控制。

10月20日周二
  1. Hugging Face Daily Papers48

    Fréchet Forcing:用短视频训练长时程流式世界模型

    研究者提出 Fréchet Forcing,通过生成锚定、上下文保真与真实感匹配三项约束,在无需教师模型、在线判别器和长视频的情况下微调世界模型及其多步采样器。在 253 帧片段上预训练的 MiniWorld-1B 经最多 36 GPU 小时、381 帧片段微调后,rollout 可稳定超过 4,000 帧,并在机器人操作与相机控制探索中持续跟随动作指令。

10月18日周日
  1. Hugging Face Daily Papers34

    Painting Change Map:用时空变化图引导绘画过程视频生成

    研究者提出 Painting Change Map,一种显式追踪 1000 个时间步内归一化结构变化的时空控制机制,可同时引导正向绘画与反向"卸画"过程。该方法将局部视觉差异编码进 RGB 空间,实现笔画级细粒度控制,在基准测试中优于现有控制基线,并在 oracle 条件下显著超越所有基线。代码已开源。

10月17日周六
  1. Hugging Face Daily Papers31

    HumanSkill-4D:免训练语言查询可动画高斯化身,支持空间与时间定位

    HumanSkill-4D 提出免训练框架,用共享的多模态大语言模型和几何算子,从语言查询中选出可动画高斯化身的局部区域,并可指定姿态或动作匹配时间段。方法通过语义记忆将身体部位与服装类别绑定到持久高斯区域,并用运动记忆中的驱动关节轨迹组合算子程序,使选择可追溯。团队构建三个真人标注 benchmark,其在部位分割及 3D、4D 指代分割上优于基线,每个化身仅需数分钟设置。

  2. Hugging Face Daily Papers38

    UniAVC:通过渐进训练与非对称调度实现统一音视频创作

    UniAVC 用单一模型权重实现文本条件联合生成、双向跨模态生成与指令引导编辑,无需任务专用适配器。它先在单模态数据上训练各分支至完整生成与编辑能力,再把配对数据用于跨模态对应关系;模态解耦调度器从共享时间步独立变换噪声调度,并以单模态干净样本直接监督非对称配置。由此支持意图感知编辑与推理后自优化,仅重生成不满意的一侧。

10月16日周五
  1. Hugging Face Daily Papers24

    SUPRA-Tex:基于超对齐纹理的3D生成

    SUPRA-Tex 提出一种单图3D生成方法,通过解耦可见材质估计、表面对齐与观测引导的3D补全,实现与参考图的超对齐。该方法先用基于 MLLM 的图像编辑模型预测参考视角下光照分离的 PBR 贴图,再投影到可见表面并编码为原生观测隐变量,由交错流 Transformer 固定为只读锚点生成完整材质隐变量。

  2. Hugging Face Daily Papers37

    MOSS-Image 技术报告:5B 开源 DiT 实现长文本渲染与布局控制

    MOSS-Image 是一个开源图像生成系统,从零预训练 5B 单流扩散 transformer(DiT),支持中英双语长文本渲染与精确布局控制,并配备意图感知的智能体提示增强模块。在长文本渲染基准 LongLongTextBench 上,其平均文本覆盖率达 96.3%,居开源权重模型首位;在 RealLayoutArena 端到端系统对比中排名第二。团队将开源模型、训练配方与评测框架。

10月15日周四
  1. Hugging Face Daily Papers42

    ACEdit:用非对称条件实现稳定的多轮图像编辑

    ACEdit 提出一种训练方案,让图像编辑模型在多轮连续编辑中保持稳定。其核心是把 Self-Forcing 引入图像编辑,训练时强制编辑器处理自己上一轮的输出,并用教师编辑器提供蒸馏信号;教师始终锚定原始干净图像并接收复合编辑指令,形成非对称条件。实验显示长多轮序列中的质量退化明显减少,同时保持编辑质量与指令遵循度。

10月14日周三
  1. Hugging Face Daily Papers26

    XGEN 发布 DAO 与 JING:生成式世界模拟框架

    XGEN 团队提出生成式世界模拟框架,将可计算世界引擎 DAO 与第一人称交互体验模型 JING 结合,实现持续的人机交互。DAO 维护角色、物体与空间状态及其关系,按交互规则和世界时间推进并保留历史行为后果,再为 JING 派生观察者专属条件,生成对应的视听体验。用户可通过视角控制与文本指令探索环境、操作物体并与角色交流,其行为同时改变共享世界状态与后续体验。

10月11日周日
10月7日周三
10月6日周二
9月18日周五
  1. GitHub:AI视频开源项目发现70

    阿里开源 SparkDiffusion:面向 Wan 2.1/2.2 的视频生成加速框架

    阿里巴巴开源 SparkDiffusion,一个面向 DiT 视频生成模型的加速框架,结合稀疏低秩注意力 RoLa、少步蒸馏 CrossDistill 与自研高性能算子,相比稠密多步基线实现 200 倍以上端到端推理加速。

    推荐理由:阿里开源 SparkDiffusion,用稀疏注意力与少步蒸馏把 Wan 2.1/2.2 推理提速 200 倍以上,并放出多档权重。

1月16日周五
2月15日周四
  1. OpenAI News82

    OpenAI 研究:视频生成模型可作为世界模拟器

    OpenAI 探索在视频数据上大规模训练生成模型,将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像,并采用在视频和图像 latent code 的时空 patch 上运行的 transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,结果表明扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。

    推荐理由:OpenAI 首次公开 Sora 的技术路线,说明视频生成模型可扩展为物理世界模拟器。