两者的优化目标差在哪里？
| 维度 | SFT（监督微调） | RL（强化学习） |
|---|
| 优化目标 | 最大化标注答案的概率（极大似然） | 最大化期望奖励 |
| 训练信号 | 标注回答的逐 token 监督 | 策略生成的回答或轨迹 + 结果级或步骤级标量奖励 |
| 数据形态 | “输入—输出”示范对 | 任务、环境 + 奖励信号（参考答案可选） |
| 直接优化压力 | 模仿示范中的映射与协议 | 强化能够获得奖励的行为与策略 |
| 分布漂移下 | 取决于示范覆盖和正则化；有限示范实验中出现过拟合 | 取决于奖励、环境和探索；受控实验中迁移更好 |
| 样本效率 | 高（几千条见效） | 低（常是 SFT 的几十～上百倍） |
| 训练稳定性 | 高、收敛快 | 低、易震荡，需要小心调 |
| 最适合 | 固化格式/风格/流程；有高质量示范、环境稳定 | 需泛化到新场景、探索最优策略、标注成本过高 |
- SFT 的机制: 每个训练样本都用极大似然推动模型复现示范，多样且有代表性的示范可以教会可泛化的特征，示范或 prompt 缺乏多样性时则可能对表面模式或捷径过拟合;
- RL 的机制: 模型探索多条路径，并提高高奖励路径的概率；当奖励忠实反映目标、探索也足够时，模型可能发现示范中没有的可迁移策略;
- 对称风险: 奖励或环境有偏时，RL 同样可能对捷径过拟合;
概率分布上的差异是什么？
- 前提: 一个问题往往存在多类合理回答，每一类都对应概率分布中的一个“峰”;
- SFT 倾向 mass-covering（覆盖式）: 逐条学习示范，尽量覆盖训练数据中出现过的多个模式;
- RL 倾向 mode-seeking（寻峰）: 按奖励重新分配概率，配合常见的反向 KL 约束时，更容易把概率集中到少数高奖励峰上;
- 决定因素: 最终是保持多样性还是收缩到少数模式，取决于示范分布、奖励函数、KL 方向与系数、熵正则和采样温度;
后训练还会塑造什么行为倾向？
- 现象: 不同系列的 Coding 模型表现出不同的默认行动阈值——有的常先读更多仓库信息再修改，有的用较少文件完成定位、先实现再借测试反馈修正;
- 解释: 不是把模型拟人化成“谨慎”或“有直觉”，而是参数中的策略在估计：多读一个文件的预期价值，是否还高于提交当前补丁并验证的预期价值;
- 来源一: SFT 示范反复包含广泛调查后才编辑的轨迹，模型就会模仿较高的行动阈值;
- 来源二: RL 的过程或结果奖励持续认可快速定位、尽早进入可验证循环，概率质量就会向较早行动的轨迹集中;
- 结论: 在完全相同的中性 Coding Harness 中换模型也能测到这种差异，说明 Harness 无需强制流程，模型自身也会携带稳定的工具使用策略;
- 证据边界: 厂商并不公开完整数据与奖励配方，能证明的是模型侧的行为差异，不能据此断言某一种具体的私有算法造成了它;
在线反馈比固定示范多提供了什么？
- 其一，可以评估固定示范之外的候选: RL 还可以强化奖励函数能够评分的新行为；但奖励无法识别的质量学不到，探索不到的策略也发现不了;
- 其二，可以利用“验证比生成容易”的任务: SFT 需要先写出正确答案或高质量轨迹，RL 只需要可靠地判断答案质量；数学答案可以对照、代码可以测试、定理证明可由验证器检查;
- 其二的代价: 这种不对称是 RLVR 的优势，但验证器不完整时也会导致奖励黑客;
- 其三，可以在当前策略实际访问的状态上训练: 离线模仿存在经典的协变量漂移（Covariate Shift）——策略偏离示范、进入数据中没有的状态后，可能缺少恢复信号;
- 误差量级: 在特定的序列模仿学习设置中，误差最坏可随轨迹长度 T 近似按 T2 累积，在线数据聚合可把它降到约 T;
- 类比: SFT 细致学习已有地图，RL 拿着奖励这枚指南针探索地图外的候选路线——地图或指南针不准都会迷路;
受控实验给出了哪些量化结果？
- 设定: 算术思考卡牌游戏，目标是用四张牌上的数字各恰好一次、通过加减乘除凑出 24；基于视觉语言模型，先 SFT 初始化使其具备基本指令遵循能力，再在相同计算预算下分别扩展 SFT 与 RL（带价值网络的 PPO）;
- 规则变体: 训练时 J/Q/K 都计为 10，测试时分别计为 11/12/13，确保测试集出现训练未见的数字组合;
- 视觉变体: 训练用黑色花色，测试用红色花色，评估视觉外观变化下的鲁棒性;
- 规则 OOD: RL 在纯文本变体上 +3.5%（11.5%→15.0%），SFT 下降 8.1%（11.5%→3.4%）;
- 视觉 OOD: RL 在视觉变体上 +17.6%（23.6%→41.2%），SFT 下降 9.9%（23.6%→13.7%）;
- 机制解释: 有限的 SFT 数据强化了“遇到 J/Q/K 就当 10 用”的固定模式；结果导向的 RL 分支更可能强化“重新计算直到得到正确答案”的策略;
- 附带发现: RL 通过结果导向的优化改善了底层视觉编码器，SFT 则因过度拟合思考过程中的 token 模式而忽视视觉 token；验证迭代次数越多，测得的泛化越好（10 次 +5.99% vs 1 次 +0.48%）;
- 前置条件: 在该设定中，未经 SFT 直接做端到端 RL 完全失败，因为基础模型无法产生结构化输出，奖励根本无法计算;
- 结论边界: 这是特定设置下的对照结果，不代表 SFT 只能记忆，也不代表 RL 必然学会通用算法;