在 PyTorch 中可视化与理解 GPU 显存占用

Hugging Face 发布教程，详细讲解如何使用 PyTorch 内置快照工具可视化显存，并拆解训练周期中显存占用的具体阶段。文章推导了涵盖模型参数、优化器状态、梯度和激活值的显存估算公式，同时给出了基于参数量估算激活值的线性经验公式。