跳到正文
原文
Hugging Face·· 2026-06-26精选AI 评分69

Hugging Face 介绍如何通过单条命令在 HF Jobs 上运行 vLLM 服务

Run a vLLM Server on HF Jobs in One Command

AI 导读

Hugging Face 介绍了通过单条 CLI 命令在 HF Jobs 基础设施上一键启动私有 vLLM 服务的方法。用户使用 `hf jobs run` 搭配官方 Docker 镜像并暴露指定端口,即可获得兼容 OpenAI API 的私有端点并按秒计费,同时支持 SSH 远程调试与多卡张量并行。

推荐理由

通过容器端口代理与按秒计费机制,开发者无需搭建复杂集群即可快速拉起临时大模型端点进行评测与实验。

来源:Hugging Face · huggingface.co