Hugging Face·· 2023-05-31精选AI 评分66
Hugging Face 推出面向 Amazon SageMaker 的大语言模型推理容器
Introducing the Hugging Face LLM Inference Container for Amazon SageMaker
AI 导读
Hugging Face 推出面向 Amazon SageMaker 的大语言模型推理容器（LLM DLC），基于 Text Generation Inference（TGI）构建，支持在托管环境中高效部署开源模型。
推荐理由
文章介绍了基于 TGI 的 SageMaker 专用推理容器，提供了从环境配置到多卡部署开源大模型的完整调用范式。
来源：Hugging Face · huggingface.co