GaLore 如何助力消费级硬件训练大语言模型

Hugging Face 介绍了内存高效训练方案 GaLore 的技术原理及其在 Transformers 库中的集成实践。GaLore 利用梯度的内在低秩特性，在优化器处理前将梯度投影到低维子空间，可减少超过 82.5% 的优化器状态显存占用，配合 8-bit 优化器和按层更新机制后，支持在 NVIDIA RTX 4090 等消费级 GPU 上训练 7B 参数模型。