Hugging Face 梳理 16 个开源 RL 库：大模型异步训练架构的经验与设计实践

Hugging Face 调研了 verl、PipelineRL 等 16 个开源强化学习库，系统梳理了将推理生成与训练解耦的异步强化学习架构设计。文章从编排原语、Rollout 缓存、权重同步、陈旧性管理、局部 Rollout、LoRA 支持及分布式训练后端七个维度进行横向对比，指出 Ray 编排与 NCCL 广播为主流方案，而 MoE 专家并行与适配器同步正成为关键差异点。