StackLLaMA：使用 RLHF 训练 LLaMA 的实操指南

Hugging Face 发布 StackLLaMA 实操教程与模型权重，演示如何结合 TRL 库与 8-bit LoRA 技术对 LLaMA-7B 完成完整的 RLHF 对齐。流程涵盖基于 StackExchange 数据的监督微调、奖励模型训练及 PPO 强化学习全周期，并深入分析了奖励作弊与负 KL 惩罚等训练不稳定性问题及工程应对方案。