Hugging Face·· 2022-06-28AI 评分54
使用 Hugging Face Accelerate 与 DeepSpeed 加速大模型训练
Accelerate Large Model Training using DeepSpeed
AI 导读
Hugging Face 介绍了通过 Accelerate 库集成 DeepSpeed ZeRO 优化大模型训练的方法，支持无需修改代码或仅做极少配置调整即可缓解显存不足问题。
来源：Hugging Face · huggingface.co