RL 初级篇：GRPO 算法的升级与改进解析

强化学习算法 GRPO 近期迎来 Dr. GRPO 与 DAPO 两项升级，主要针对归一化偏差与探索不足问题进行改进。Dr. GRPO 去除组内标准差归一化，并用固定常数取代逐回答长度归一化，避免错误回答持续变长。DAPO 则引入 Clip-Higher 放宽概率比上界、Dynamic Sampling 过滤全对全错组，并采用 Token-level Loss 统一平均有效 token 损失。