利用 AWS Inferentia2 加速 Llama 2 文本生成

Hugging Face 宣布支持通过 optimum-neuron 在 AWS Inferentia2 上部署 Llama 2 等大语言模型进行文本生成。开发者可通过简易 API 将模型编译导出为 Neuron 格式，或直接调用 pipeline 执行生成。