为什么我们选择迁移到 Hugging Face Inference Endpoints

Mantis 团队分享了将生产环境 CPU 模型推理从 AWS ECS 迁移至 Hugging Face Inference Endpoints 的实践与评测。实测显示在 4 核 8GB 的 CPU 规格下，官方容器推理延迟约为 80ms，比自建 ECS 容器提速超过一倍。尽管月度托管费用高出 24% 至 50%，但省去了打包 Docker 镜像与维护基础设施的流程，大幅降低了工程认知负担。