Transformers 原生量化方案对比：bitsandbytes 与 auto-gptq 性能基准与选型指南

Hugging Face 对 Transformers 原生支持的 bitsandbytes 与 auto-gptq 进行了全面基准测试与对比。实测表明 bitsandbytes 无需校准数据集且跨模态兼容性好，适配器微调速度更优；auto-gptq 在文本生成推理速度和权重序列化上优势明显。官方建议可在微调阶段采用 bitsandbytes，合并权重后再通过 GPTQ 量化部署。