Hugging Face 推出 Optimum 的 PyTorch 量化后端 Quanto

Hugging Face 推出针对 Optimum 的 PyTorch 量化后端 Quanto，旨在为各类模态的模型提供多设备通用的轻量量化支持。该库支持 int2、int4、int8 和 float8 权重以及 int8 与 float8 激活量化，兼容 CUDA、MPS 和 CPU 设备，并支持 eager 模式与 torch.compile。