Hugging Face·· 2025-01-16AI 评分56
Hugging Face 为 TGI 推出多后端架构，支持接入 vLLM 与 TensorRT-LLM 等引擎
Introducing multi-backends (TRT-LLM, vLLM) support for Text Generation Inference
AI 导读
Hugging Face 宣布为大语言模型部署工具 Text Generation Inference（TGI）引入多后端架构，将其作为统一前端层以整合碎片化的推理引擎生态。
来源：Hugging Face · huggingface.co