使用 AWS Inferentia2 加速 Hugging Face Transformers

Hugging Face 与 AWS 合作优化 AWS Inferentia2 上的 Transformers 模型推理性能。实测数据显示，Inferentia2 平均延迟比 NVIDIA A10G GPU 降低 4.5x，比上一代 Inferentia1 降低 4x，最大实例尺寸可支持 175B 参数模型。