Hugging Face 详解基于 PPO 的 RLHF 工程实现细节

Hugging Face 研究团队复现了 OpenAI 2019 年的 RLHF 代码库，并发布了开源复现代码与工程实现细节清单。文章拆解了奖励模型归一化、拒绝采样、每步 KL 惩罚等机制，重点发现 PyTorch 与 TensorFlow 在 Adam 优化器公式实现上的差异会导致 PyTorch 在训练初期梯度更新过于激进，并在较大模型中引发严重的 KL 散度震荡。