Hugging Face Accelerate 如何借助 PyTorch 运行超大模型

Hugging Face 介绍了 Accelerate 库借助 PyTorch 特性在有限硬件显存与内存中加载和运行超大模型的完整方案。该方案利用 PyTorch 的 meta device 初始化不占物理显存的空模型并自动计算 device_map，结合分片权重机制按需加载，再通过 PyTorch hooks 在前向传播前后动态将 CPU 或磁盘上的层搬移至 GPU 计算。