开源 LLM 私有化部署平台 LLMPod 开启测试

开源私有化 LLM 推理服务平台 LLMPod 开启首批用户测试。该项目支持接入管理自有 GPU 节点与可视化部署模型，支持 vLLM 和 SGLang 等推理引擎，可发布为 OpenAI 兼容 API 并统一管理外部模型 API。其开源自托管版本可免费使用，整合了 API Key、配额日志、多用户权限以及路由、权重和 Failover 等能力。