WWDC 24：如何通过 Core ML 在 Mac 上运行 Mistral 7B

Hugging Face 介绍了如何利用 WWDC 24 推出的 Core ML 新功能在 Mac 上高效运行 Mistral 7B 模型。方案通过有状态缓冲区常驻显存管理 KV cache，配合 4-bit 块量化技术将模型体积从 14GB 压缩至 3.8GB，实现仅用不到 4GB 内存即可在本地运行。