笔记本上的聊天机器人：在 Intel Meteor Lake 上运行 Phi-2

Hugging Face 演示了通过 Optimum Intel 与 OpenVINO 对微软 2.7B 参数模型 Phi-2 进行 4-bit 权重量化，并在搭载 Intel Meteor Lake 处理器的笔记本上实现本地推理。该方案结合 Core Ultra 芯片的 CPU、iGPU 与专用 NPU 硬件加速，无需调用云端 API 即可在端侧离线运行低延迟且保护隐私的聊天机器人。