借助 Optimum Intel 和 OpenVINO 加速你的模型

Hugging Face 宣布在 Optimum Intel 中集成 Intel OpenVINO，支持在各类 Intel 处理器上通过 OpenVINO Runtime 运行 Transformers 模型推理。该首发版本基于 OpenVINO 2022.2，支持利用 NNCF 对 BERT 等模型执行训练后静态量化与量化感知训练，官方实测 ViT 模型量化后准确率保持在 87.6%。