跳到主要内容

Mid-training 的本质与边界

Mid-training 是什么？​

  • 定义: 从已有基础模型出发，在目标数据分布上继续做一段语言模型训练;
  • 别名: 继续预训练（Continued Pre-training, CPT）、领域自适应预训练（DAPT）、任务自适应预训练（TAPT）；有些团队把它算作预训练的后半程;
  • “Mid” 的含义: 描述它在能力开发流水线中的位置，而数据格式与损失函数仍与预训练相同——预测下一个词、通常对全部 token 计算损失;
  • 依据: 在领域语料或任务相关的无标注语料上做第二阶段预训练，可以继续改善下游任务表现;
  • 规模: 数据与计算介于全量预训练与 SFT 之间，比预训练小、比 SFT 更适合吸收大量知识;
  • 数据构造细节见Mid-training 数据构造;

它解决哪两类缺口？​

  • 知识缺口: 通用预训练未充分覆盖目标语言、金融/医疗/法律领域、企业内部文档或某类代码库，模型连概念与术语都不能理解;
  • 基础能力缺口: 目标任务要求基础模型尚未形成的长上下文、代码模式、数学推导或跨模态表征;
  • 判据: 不只是“回答格式不对”，而是在足够多次采样下也几乎得不到正确解，即 pass@k 仍接近零;
  • 对照: 若模型偶尔能做对但输出不可解析，缺口在行为协议而非底座，见何时选择 Mid-training、SFT 与 RL;

为什么不能用 SFT 代替它做知识注入？​

  • 监督密度不同: Mid-training 通常把整段文档、代码或推导都当作学习目标，对大量 token 计算损失；SFT 把数据组织成输入—输出示范，通常只在回答 token 上计算损失;
  • SFT 的局限: 少量问答对只覆盖有限问法，反复强化少数访问路径，容易记住问法而不形成广泛可调用的知识;
  • 顺序效应: 继续预训练与指令训练的顺序和数据组织会显著影响知识能否被问答形式访问;
  • 稳健配方: Mid-training 吸收知识与能力 → 小规模 SFT 建立输出格式 → 出现非零成功率后再用 RL 提升成功率与泛化性;
  • 动态知识: 事实需要频繁更新、引用、权限控制或删除时用 RAG，而不是写进权重;

它的主要风险与代价是什么？​

  • 灾难性遗忘: 目标分布能力提升的同时通用能力可能下降，必须保留通用数据回放并监控通用保留集;
  • 全参风险: 对模型做全参数 Mid-training 的计算与遗忘风险都明显高于小规模 SFT;
  • 推进方式: 先用小规模实验验证数据配比，再扩大训练预算;
  • 数据质量: 会吸收语料中的错误关联，需要去重、质量过滤与评估集污染检查;
  • 标称窗口陷阱: 位置编码允许 128K 输入，不代表模型在 128K 上仍会检索、推理和规划;
  • 职责边界: Mid-training 降低领域文本的语言模型损失，但不保证模型会自动按用户问题取出知识——知识能否被访问还取决于后续的 SFT 与数据组织;