Luma· LumaLabsAI·· 2026-10-20AI 评分22
Luma 多模态掩码序列并行新方法
Exact sequence parallelism for packed multimodal masks.
AI 导读
面向打包多模态掩码的精确序列并行。 它逐层选择 ring attention、稀疏 all-to-all 或 Ulysses,数值与单 GPU 一致,在最多 128 块 H100 上于 48 个案例中的 47 个胜过 FlashMask + Ulysses 混合方案。 https://lumalabs.ai/news/packed-multimodal-attention
打开原文 x.com