PixVid 如何把潜空间视频扩散提升到像素空间
PixVid 将预训练潜空间视频模型改为直接在像素空间逐帧生成,用卷积头替代 VAE 解码器。该方法从 Wan2.1-14B 微调,约 1.3M 训练片段即可接近潜空间基线,并以相同每帧 token 数生成 2× 更高分辨率。它在快速运动下保持深度条件编辑对齐,并能对每个动作在下一帧响应。
PixVid 将预训练潜空间视频模型改为直接在像素空间逐帧生成,用卷积头替代 VAE 解码器。该方法从 Wan2.1-14B 微调,约 1.3M 训练片段即可接近潜空间基线,并以相同每帧 token 数生成 2× 更高分辨率。它在快速运动下保持深度条件编辑对齐,并能对每个动作在下一帧响应。
OmniShowcase 提出一种从多视角图像生成全向主体一致视频的方法,通过自动数据合成与几何条件化实现 360 度环绕视角下的主体一致性。实验显示其在主体身份和 3D 一致性上达到当前最优,同时保持有竞争力的视频质量与运动。研究还构建了 Showcase-4K 数据集(12 种相机运动、88 种轨迹配置)和 ShowcaseBench 评测集。
阿里巴巴开源 SparkDiffusion,一个面向 DiT 视频生成模型的加速框架,结合稀疏低秩注意力 RoLa、少步蒸馏 CrossDistill 与自研高性能算子,相比稠密多步基线实现 200 倍以上端到端推理加速。
推荐理由:阿里开源 SparkDiffusion,用稀疏注意力与少步蒸馏把 Wan 2.1/2.2 推理提速 200 倍以上,并放出多档权重。