跳到主要内容

后训练四阶段全景

现代模型的能力开发由哪四个环节组成？​

阶段用什么数据优化目标学到什么典型代价
预训练海量原始互联网文本预测下一个词语言规律、世界知识、基本推理极高（数百万～数千万美元）
Mid-training目标语言/领域/能力语料 + 保留数据继续预测下一个词（通常对全部 token 算损失）补齐领域知识、语言与基础能力中到高，取决于 token 规模与是否全参训练
SFT几千～几万条“输入—输出”示范对预测下一个词（只在回答 token 上算损失）指令遵循、输出格式、风格、流程协议低（几小时～几天）
RL任务、环境 + 奖励信号（参考答案可选）最大化期望奖励可迁移的决策策略、探索出的新解法高（常是 SFT 的几十～上百倍）
  • 类比: 预训练=接受通识教育，Mid-training=集中研修专业教材，SFT=老师示范答题与表达规范，RL=自己下场做题并按结果反复打磨;
  • 分工: Mid-training 处理底座，SFT 处理协议，RL 处理策略——三者不是可互换的“微调力度”;
  • 共同机制: 模型输出是词表上的概率分布，训练就是调整这个分布；四个环节只差“想要什么”与“用什么信号定义想要”;
  • 位置: 参数更新是三条学习路径之一，另两条是上下文适应与外部产物更新，见三条学习路径;
  • 机制细节分见预训练基础、Mid-training 的本质与边界、SFT 的本质、策略梯度与 PPO/GRPO;

两条贯穿后训练的主线是什么？​

  • 主线一: 相同任务、相同基础模型、相同预算的受控实验中，SFT 倾向记住示范，RL 表现出更好的分布外泛化;
  • 主线一的边界: 这是特定实验条件下的测量结果，不是 SFT 与 RL 的普遍属性——示范足够多样时 SFT 也能泛化，奖励或环境有偏时 RL 也会过拟合;
  • 主线二: 数据和环境比算法更重要；掌握 PPO、GRPO 的基本用法即可，真正决定成败的是 Mid-training 语料、示范数据、仿真环境与奖励;
  • 推论: 很多场景下只要底座与示范数据质量到位，甚至不需要做 RL;
  • 精力分配: 把注意力从“调哪个算法”拉回“数据和环境做对了没有”;

应用开发者与训练工程师的关注点有什么不同？​