后训练实践要点

后训练中最常见的陷阱有哪些？

陷阱	后果与纠正
用 SFT 硬塞知识库，或把所有知识都交给参数	大量稳定领域知识与基础能力交给 Mid-training，需要动态更新、引用、权限控制或删除的事实交给 RAG
格式未稳定就引入 RL	无法解析的输出会让训练信号稀疏或失真；先用小规模评估设定格式稳定性门槛，必要时用 SFT 或约束解码
把标称窗口当成有效窗口	位置编码允许 128K 不代表模型在 128K 上仍会检索、推理和规划；扩窗前完成当前长度的能力门禁，保留短数据与 replay，用“能力 × 长度”矩阵检查退化
pass@k 近零仍直接上 RL	全失败的 rollout 没有正向轨迹，GRPO 组内优势也会消失；先 Mid-training、SFT/蒸馏，或构造可达的课程与部分奖励
奖励函数设计不当	模型学会钻奖励漏洞拿高分而非真正完成任务（如只看回复长度就生成冗长无意义的文本）；应评估最终目标而非中间指标
忽视仿真保真度	仿真过于简化或环境响应不真实会让策略在真实场景完全失效；高保真仿真环境的构建成本可能高于训练本身
过度训练	训练损失下降而验证集恶化说明在死记细节；Mid-training 遗忘通用能力、SFT 过拟合示范、RL 过拟合奖励与任务分布，三者都需要独立保留集与早停
价值函数崩溃与探索不足	PPO 价值估计不准会导致优势计算偏差、训练曲线剧烈震荡；温度参数过低或随机性不足会使 Agent 陷入局部最优
把训练—推理数值失配当成小噪声	更新前概率比已经偏离 1，会把 on-policy 训练悄悄变成 off-policy；应监控 log probability 差异、近似 KL、裁剪比例与策略 staleness
低估 RL 的计算成本	SFT 上表现良好的任务转 RL 可能需要 10–100 倍训练时间；测试分布与训练高度一致时 SFT 可能已经足够
训练数据质量低下	Mid-training 吸收语料中的错误关联、SFT 直接学习示范噪声、RL 的奖励偏差被系统性放大

投入大规模资源前应验证哪些假设？

• 核心原则: 先用小规模实验验证关键假设——快速失败比大规模失败更可接受;
• Mid-training: 用小批语料检查知识/能力增益与遗忘曲线;
• SFT: 用少量数据测试格式能否稳定;
• RL: 用小批 rollout 检查 pass@k、奖励差异与 sampler/trainer 数值一致性;

参数更新与 ICL、RAG 分别负责什么？

• 三者关系: 不是互斥方案，而是作用于不同位置;
• ICL（上下文学习）: 用示例、规则和当前状态实现零参数的即时适应；随着上下文增长，延迟与费用也会上升;
• RAG: 把事实与证据放在可动态更新、可追溯的外部知识中;
• 后训练: 把高维感知、生成风格和隐式决策策略写入参数;
• 选择依据: 不只是任务是否长期稳定，更重要的是能力能否被外部符号充分表达;
• 需要参数更新的例子: 医疗影像识别、自然语气——即使面对持续变化的领域，仍往往需要权重层面的改变;
• 应交给代码的例子: 长期稳定的转账审批规则应由代码提供确定性保障，不能只靠模型记忆;
• 稳健组合: RAG 管理动态事实与证据，ICL 快速试验可用语言描述的策略，程序固化确定性流程与硬约束，Mid-training 吸收稳定领域知识和基础能力，SFT/RL 塑造难以由外部规则完整表达的行为;
• 蒸馏补充作用: 把高能力大模型的行为迁移到成本更低的小模型中;
• 路径框架见三条学习路径;

值得记住的两条核心判断是什么？

• 判断一: 数据和环境比算法更重要——Mid-training 语料决定底座补到了哪里，SFT 示范决定协议是否稳定，环境和奖励决定 RL 能探索并强化什么;
• 判断一的推论: 造不出真实环境时，用模型模拟环境也是一条可行路线，但模拟器的偏差就是训练的天花板;
• 判断二: 当前 RL 的主要瓶颈是样本效率与分布一致性——在轨蒸馏把一条 rollout 的终点标量扩展为学生实际状态上的逐 token 监督，路径信号把被浪费的环境反馈变成可学习信号，真正 on-policy 的 rollout 减少了重要性修正的偏差与方差;
• 检验要求: 训练—推理数值失配会破坏判断二的前提，因此 sampler/trainer 一致性应与奖励曲线同等重要;
• 阶段边界: Mid-training、SFT 与 RL 不是三种可互换的“微调力度”，而是分别处理底座、协议与策略;
• 倾向的正确表述: “SFT 记忆、RL 泛化”概括的是受控实验中观察到的倾向，并不是不受数据、模型、奖励与环境影响的普遍规律;