评测 Text Generation Inference（TGI）

Hugging Face 详解了 Text Generation Inference（TGI）内置的基准测试工具 TGI Benchmarking tool，用于综合评估大语言模型推理中的吞吐量与延迟权衡。该工具支持分析首字延迟（TTFT）以及预填充与解码阶段的性能表现，帮助用户针对不同并发场景优化部署配置。开发者可在 Hugging Face Space 中通过 CLI 快速运行该评测。