借助 Optimum Intel 在 Xeon 上实现 SetFit 超高速推理

借助开源库 Optimum Intel 进行训练后静态量化（PTQ），少样本微调框架 SetFit 在 Intel Xeon CPU 上的推理速度提升了 7.8 倍。SetFit 无需手工设计提示词即可由少量样本生成丰富嵌入向量，分类效果优于 GPT-3.5 与 GPT-4，结合 Intel AMX 等硬件加速特性可直接实现生产级部署。