Hugging Face·· 2023-05-25AI 评分49
使用 NNCF 与 🤗 Optimum 优化 Intel CPU 上的 Stable Diffusion
Optimizing Stable Diffusion for Intel CPUs with NNCF and 🤗 Optimum
AI 导读
针对 Stable Diffusion 在 CPU 等硬件上的推理延迟问题,团队结合 OpenVINO NNCF 的量化感知训练(QAT)、知识蒸馏与 Token Merging 构建了优化工作流。相比 PyTorch,该方案在 CPU 上实现了 5.1x 推理加速与 4x 模型体积缩减。整个优化过程仅需单张 24 GB 显存 GPU 微调 4096 次迭代,耗时不足一天。
来源:Hugging Face · huggingface.co