Hugging Face·· 2024-10-16精选AI 评分68
Hugging Face 修复 Transformers 梯度累加计算偏差
Fixing Gradient Accumulation
AI 导读
Hugging Face 修复了 Transformers Trainer 中梯度累加与全 batch 训练不等价的计算偏差。因果语言模型等 token 级任务此前直接对每个 batch 的损失取平均,导致存在 padding 时计算失真,正确方法应将所有累加 batch 的总损失除以非 padding token 总数。
推荐理由
原文拆解了梯度累加与全批次训练结果不一致的数学根源,并给出了针对非填充 token 归一化的具体修复逻辑。
来源:Hugging Face · huggingface.co