Prompt 蒸馏压缩了什么？
- 动机: 让模型完成复杂任务常要设计数千甚至上万 token 的系统提示，思考型模型还会生成内部思考 token，每次调用都增加延迟与费用;
- 思路: 把“长提示 + 思考型教师”的行为压缩到“短提示/无提示 + 非思考学生”中;
- 数据构造: 教师在完整提示与思考模式下生成高质量答案，训练数据只保留用户输入与最终结论，丢弃冗长提示与中间思考过程;
- 目标: 学生学会“直接给出结论”，在相同输入上接近教师的输出质量，同时显著降低延迟与费用;
- 两个维度: “大到小”（用中小模型替代大模型，在成本和质量间折中）与“思考到非思考”（把显式 CoT 折叠为隐式参数化知识，可获得 20–30 倍响应速度提升）;
- 组合: 两个维度不冲突，在生产环境中经常同时使用;
Prompt 蒸馏有什么风险？
- 继承教师边界: 教师在长尾分布上的系统性错误会被学生进一步硬编码;
- 丢失工具鲁棒性: 教师依赖工具来确保正确性时，单纯的输出蒸馏会失去工具带来的鲁棒性;
- 适用条件: 产品形态稳定、输入分布可预期、成本约束明显时才划算;
- 探索期建议: 任务尚未定型时，保留显式思考与可编辑的提示工程仍是快速试错的核心;
CoT 蒸馏与 Prompt 蒸馏的区别是什么？
- 方向相反: Prompt 蒸馏丢弃思考过程，CoT 蒸馏把强教师模型的完整思考轨迹转移给学生;
- 效果: 对能力较强的教师做 CoT 蒸馏，在同等参数量下可恢复教师 70%–80% 的能力;
- 定位: 对不追求刷新前沿能力边界、但寻求自主可控模型的团队，是最务实的跟随者策略;
- 代表路线: 用强思考模型的思考轨迹对中小模型做 SFT，而不是重新做 RL;
- 训练对格式: “问题 →
<think> 思考轨迹 </think> + 最终答案”;
- 验收信号: 学生相对蒸馏前显著提升，且思考轨迹中出现教师式的反思、回溯与验算行为;
- 代价: 学生会继承教师的系统性错误和冗长思考习惯;
什么是“思维围墙”？
- 现象: 一些闭源思考模型（如 OpenAI o 系列、Gemini 系列）在输出前对 CoT 进行改写或摘要，最有价值的原始思考过程被隐藏在 API 之后;
- 厂商动机: 防蒸馏、安全与产品体验;
- 后果: 想蒸馏原始思考过程，应选择直接公开完整思维链的开源思考模型作教师;
- 合规提醒: 使用前仍应确认模型许可证对蒸馏产物的授权条款;
- 敏感性: 模型蒸馏与正常的监督微调在技术上高度相似，但在厂商的安全与产品策略中可能与模型提取、能力复制和知识产权保护关联，因此成为一个敏感类别;
教师模型要选多强？
- 原则: 教师模型只需要“明显高于学生”，不需要“全球第一”;
- 规模判断: 要后训练的是 200B 及以下规模的模型时，用开源 SOTA 模型当教师已经完全够用;
- 现实差距: 当前最先进的开源模型与 SOTA 闭源模型的差距并没有想象中大;
拒绝采样微调（RFT）是什么？
- 定义: 对同一问题采样多条候选，用验证器筛出正确样本再反过来训练自己;
- 专门名称: “生成候选 → 验证过滤 → 只留正确轨迹”的做法叫拒绝采样（Rejection Sampling）；用它构造的数据做 SFT 就是拒绝采样微调（Rejection Sampling Fine-Tuning, RFT）;
- 定位: 介于纯 SFT 与 RL 之间——不训奖励模型、不做策略梯度，只靠“从多条采样中拒绝错的、留下对的”来提升数据质量;
- 性价比: 在数学、代码等可验证任务上是性价比极高的数据构造手段;
- 过滤的必要性: 不过滤会把错误的思考过程一并教给学生;
- 评估方式: 在同一基准上对比蒸馏前后的学生模型与教师模型，衡量能力恢复比例;