PixVid 如何把潜空间视频扩散提升到像素空间
PixVid 将预训练潜空间视频模型改为直接在像素空间逐帧生成,用卷积头替代 VAE 解码器。该方法从 Wan2.1-14B 微调,约 1.3M 训练片段即可接近潜空间基线,并以相同每帧 token 数生成 2× 更高分辨率。它在快速运动下保持深度条件编辑对齐,并能对每个动作在下一帧响应。
PixVid 将预训练潜空间视频模型改为直接在像素空间逐帧生成,用卷积头替代 VAE 解码器。该方法从 Wan2.1-14B 微调,约 1.3M 训练片段即可接近潜空间基线,并以相同每帧 token 数生成 2× 更高分辨率。它在快速运动下保持深度条件编辑对齐,并能对每个动作在下一帧响应。
OmniShowcase 提出一种从多视角图像生成全向主体一致视频的方法,通过自动数据合成与几何条件化实现 360 度环绕视角下的主体一致性。实验显示其在主体身份和 3D 一致性上达到当前最优,同时保持有竞争力的视频质量与运动。研究还构建了 Showcase-4K 数据集(12 种相机运动、88 种轨迹配置)和 ShowcaseBench 评测集。
香港中文大学MMLab、字节跳动及香港科技大学团队提出DuoMatching,让视频生成器同时接受联合分布监督与帧级边缘分布监督,在训练阶段引入图像先验且不增加推理计算。逐帧2步设置下VBench总分从80.67提升到83.53,相对四个基线的整体偏好率均超过80%,动态程度从94.44小幅变为93.61。论文已在arXiv公开,代码与模型权重同步开放。
阿里巴巴开源 SparkDiffusion,一个面向 DiT 视频生成模型的加速框架,结合稀疏低秩注意力 RoLa、少步蒸馏 CrossDistill 与自研高性能算子,相比稠密多步基线实现 200 倍以上端到端推理加速。
推荐理由:阿里开源 SparkDiffusion,用稀疏注意力与少步蒸馏把 Wan 2.1/2.2 推理提速 200 倍以上,并放出多档权重。