Hugging Face·· 2024-01-30AI 评分45
利用 Optimum Intel 在 Xeon 上加速 StarCoder：Q8/Q4 与投机解码
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
AI 导读
通过在第 4 代 Intel Xeon 处理器上整合 8-bit 与 4-bit 量化以及辅助生成技术，StarCoder-15B 模型的推理速度实现了超过 7 倍的加速。
来源：Hugging Face · huggingface.co