跳到正文
原文
Hugging Face·· 2025-06-23AI 评分58

SGLang 集成 Hugging Face Transformers 作为推理后端

Transformers backend integration in SGLang

AI 导读

SGLang 正式集成 Hugging Face Transformers 作为后端,支持开箱即用运行任意兼容 Transformers 的模型。当模型未获得 SGLang 原生算子支持时,引擎会自动回退或通过设置 impl="transformers" 调用 Transformers 实现,同时保留 RadixAttention 等吞吐优化能力。

来源:Hugging Face · huggingface.co