跳到正文
Luma· LumaLabsAI·· 2026-10-20AI 评分22

Luma 多模态掩码序列并行新方法

Exact sequence parallelism for packed multimodal masks.

AI 导读

面向打包多模态掩码的精确序列并行。 它逐层选择 ring attention、稀疏 all-to-all 或 Ulysses,数值与单 GPU 一致,在最多 128 块 H100 上于 48 个案例中的 47 个胜过 FlashMask + Ulysses 混合方案。 https://lumalabs.ai/news/packed-multimodal-attention

打开原文 x.com