Hugging Face·· 2023-08-23精选AI 评分78
Hugging Face Transformers 正式集成 AutoGPTQ 支持 4 位量化与微调
Making LLMs lighter with AutoGPTQ and transformers
AI 导读
Hugging Face 宣布在 Transformers 库中原生集成 AutoGPTQ，支持使用 GPTQ 算法将大语言模型量化至 8、4、3 甚至 2-bit 精度。
推荐理由
原文给出了量化原理与完整集成调用方式，读者可以据此判断如何在消费级 GPU 上部署和微调大模型。
来源：Hugging Face · huggingface.co