Hugging Face·· 2024-06-13AI 评分54
基于 Hugging Face Accelerate 实现 DeepSpeed 与 FSDP 的无缝切换与对齐
From DeepSpeed to FSDP and Back Again with Hugging Face Accelerate
AI 导读
Hugging Face Accelerate 在 0.30.0 版本中升级了 PyTorch FSDP 的混合精度支持，解决其与 DeepSpeed 在相同学习率下收敛表现不一致的问题。
来源：Hugging Face · huggingface.co