Hugging Face Blog·· 2023-12-05AI 评分52
Hugging Face 如何让 LoRA 推理提速 300%
Goodbye cold boot - how we made LoRA Inference 300% faster
AI 导读
Hugging Face 在 Inference API 中实现 LoRA 动态加载,按请求在保持基础模型常驻的前提下切换 LoRA 适配器,把预热时间从 25s 降到 3s,用户请求响应从 35s 降到 13s。
打开原文 huggingface.co