Hugging Face·· 2025-06-23AI 评分58
SGLang 集成 Hugging Face Transformers 作为推理后端
Transformers backend integration in SGLang
AI 导读
SGLang 正式集成 Hugging Face Transformers 作为后端,支持开箱即用运行任意兼容 Transformers 的模型。当模型未获得 SGLang 原生算子支持时,引擎会自动回退或通过设置 impl="transformers" 调用 Transformers 实现,同时保留 RadixAttention 等吞吐优化能力。
来源:Hugging Face · huggingface.co