从零开始的 OCR-0——基础篇 [RL]

教程梳理了强化学习（RL）的基础理论，阐释其在无单步监督的探索性任务中相比 SFT 的机制差异。内容推导了马尔可夫过程下的贝尔曼方程（Bellman equation），并解析了状态价值与动作价值的关联。针对 Value-based 方法，进一步对比了蒙特卡洛（Monte Carlo）与时序差分（Temporal Difference）的更新逻辑及方差偏差特性。