何时选择 Mid-training、SFT 与 RL
三种训练分别处理什么缺口？
- 判断顺序: 先判断缺的是底座、协议，还是策略，不要把“模型做不好”统一归因成需要 RL;
- 分工: Mid-training 处理知识与基础能力，SFT 处理行为协议，RL 处理概率质量分配与策略优化;
- 位置: Mid-training 位于 SFT→RL 两个行为对齐阶段之前;
| 观察到的现象 | 主要缺口 | 优先方法 | 进入下一阶段的门槛 |
|---|---|---|---|
领域概念、语言或基础操作不会；合理采样下 pass@k 仍接近 0 | 知识与能力不在基模的有效支持中 | Mid-training；动态事实用 RAG | 领域留出集改善、通用保留集可接受、目标任务开始出现可验证的正确或部分正确轨迹 |
| 偶尔能做对，但格式、工具 schema、语气或固定流程不稳定 | 行为协议没有固化 | SFT 或约束解码 | 解析成功率稳定，关键动作和输出协议可被验证器可靠评分 |
| 已有非零成功率和可靠奖励，但好策略概率低、长程决策或 OOD 泛化不足 | 概率质量分配与策略优化 | RL | 奖励与真实目标一致；rollout 组内有足够奖励差异；独立测试集随训练改善 |
| 只有少量稳定示范，尚无可交互环境 | 有可模仿数据、无在线反馈 | SFT/RFT/离线偏好优化 | 先建立基线与评估，再判断是否值得建设 RL 环境 |
判断“底座够不够”用哪个指标？
- 采样诊断: 在留出任务上以与训练相近的温度采样，测
pass@1和pass@k; - 公式: ， 为单次成功概率，即近似独立采样 次至少成功一次的概率;
- 解读一:
pass@1低但pass@k随 明显上升，说明正确策略已经处在模型分布里，只是概率质量太小——RL、拒绝采样或蒸馏都有东西可放大; - 解读二: 在合理的 、采样温度和任务覆盖下实测
pass@k仍接近 0，说明基础模型几乎生成不出成功轨迹; - 后果: 只给终点 0/1 奖励时，GRPO 的一组 rollout 很可能全为 0，组内优势直接消失；PPO 也看不到“应该往哪里移动”的正向样本;
- 等待的代价: 采样量继续放大只能以约 的速度等待偶然成功，效率会迅速失去实际意义;
为什么会有“必须先 SFT、再 RL”的说法？
- 前提一（格式支持）: 任务要求输出 JSON 或工具调用，而模型吐出无法解析的文本时，奖励函数连“成功还是失败”都判断不了;
- 前提一的做法: 用少量示范稳定格式与基本流程，使奖励可计算，再由 RL 优化策略;
- 前提二（能力支持）: 输出能被验证，并且当前策略偶尔能探索到有价值的行为;
- 边界: “必须先 SFT”只在输出格式或基本行为尚未建立时成立;
- 反例一: 在严格结构化输出设置中，视觉语言模型不经 SFT 直接做端到端 RL 会完全失败，因为基础模型无法产生可被验证的结构化输出;
- 反例二: 足够强、已经有非零成功率的基模可以跳过 SFT——加入了冷启动 SFT 的推理模型主要是为改善可读性与语言一致性，而不是为 RL 注入任务知识;
实操上应按什么顺序决策？
- 第一步，先排除不需要改权重的方案: Prompt、工具、代码约束、上下文管理能解决行为问题时不必训练；事实需要频繁更新、引用或删除时优先 RAG;
- 第二步，在目标留出集上测能力支持: 不必只看贪心的
pass@1，还要在固定采样配置下看pass@k、部分进展率、格式解析率，并人工审计失败原因; - 第二步的后续: 若
pass@k仍近零且失败集中在知识/基础能力，先做 Mid-training，重新评估后再决定后续步骤; - 第三步，用 SFT 立协议而不是硬塞知识库: 模型“会做但不会按要求做”时，用高质量示范固化 JSON schema、工具调用、术语用法、流程与风格;
- 第四步，只在有探索空间时上 RL: 当前策略已经能产生可评分、偶尔成功的 rollout，奖励又忠实反映部署目标时，RL 才适合把低概率成功策略推高、探索示范外路径;
- 补充:
pass@k近零时先补 Mid-training/SFT，或设计可达的课程与部分奖励；全零 rollout 上直接加 PPO/GRPO 通常只会消耗采样预算; - 不是流水线: 强基模可能直接进入 RL，格式型任务可能只需 SFT，稳定领域知识可能只做 Mid-training——关键是每一步都有可测的进入条件，而不是把三阶段当作仪式化流程;