Hugging Face·· 2023-12-05精选AI 评分63
Hugging Face 详解 LoRA 动态加载方案：将 Diffusion 推理预热提速 300%
Goodbye cold boot - how we made LoRA Inference 300% faster
AI 导读
Hugging Face 在 Hub Inference API 中实现了 Stable Diffusion LoRA 适配器的按需动态切换，通过保持基础模型常驻内存，将服务预热时间从 25 秒缩短至 3 秒，用户端请求响应时间从 35 秒降至 13 秒。
推荐理由
团队公开了保持基座模型常驻并按请求动态插拔 LoRA 的具体架构，为多微调模型的高并发推理提供了可复用的工程方案。
来源：Hugging Face · huggingface.co