Hugging Face Blog·· 2023-10-24AI 评分34
SDXL 推理加速与显存优化实践:fp16、SDPA 与 torch.compile
Exploring simple optimizations for SDXL
AI 导读
在 A100(40GB)上,SDXL 默认全精度推理需 28GB 显存、耗时 72.2 秒;改用 fp16 后降至 21.7GB、14.8 秒,叠加 PyTorch 2.0 默认启用的 SDPA 进一步降到 11.4 秒,再用 torch.compile 包裹 UNet 可缩短至 10.2 秒。
打开原文 huggingface.co