跳到正文
Hugging Face Daily Papers·· 29 天前AI 评分22

ALLOT:面向视频扩散 Transformer 的免训练块稀疏注意力分配方法

Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers

AI 导读

研究者提出免训练稀疏分配方法 ALLOT,将每层与每个去噪步的组合视为单元,通过单元探测与轨迹校准估计其对最终视频误差的贡献,并在实测延迟预算下联合优化各单元密度。

打开原文 arxiv.org