Hugging Face·· 2024-07-18精选AI 评分67
Hugging Face TGI 推出 Multi-LoRA 服务功能：单次部署支持同时运行 30 个模型
TGI Multi-LoRA: Deploy Once, Serve 30 Models
AI 导读
Hugging Face 的 Text Generation Inference（TGI）正式支持 Multi-LoRA serving，允许用户在单次部署基础模型的前提下动态路由并调用多个任务专用 LoRA 适配器。
推荐理由
文章展示了通过单个基础模型动态挂载多个 LoRA 适配器的方法，帮助团队在多任务场景下显著降低硬件与显存开销。
来源：Hugging Face · huggingface.co