为什么单一总分不能成为学习信号？
- 结论: 单一总分只能反映一次运行的优劣，无法指出应当修改之处;
- 后果: 缺少定位信息时，后续模块只能猜修改位置，等价于把低质量的反思当作事实;
- 判断: 持续进化不能只依赖成功率或单一分数;
可供后续学习的评价至少包含什么？
| 输出项 | 内容 | 用途 |
|---|
| 任务结论 | 成功、部分成功还是失败 | 决定该案例是否进入学习集 |
| 维度结论 | 每个维度各自的结果 | 定位问题类型 |
| 证据位置 | 哪一轮对话、哪一次工具调用 | 支撑归因与复核 |
| 失败类型标签 | 失败属于哪一类 | 触发对应的更新路径 |
- 共同作用: 具备这四项内容，更新方法才能判断应当更新知识、提示词、程序还是模型参数;
验证器为什么应当被允许拒绝评分？
- 允许拒答: 验证器在证据不足时不评分;
- 处理方式: 与其把低置信度的结论当作事实固化下来，不如将该案例排除在学习集之外;
- 边界: 模型给出的置信度只是未经验证的估计，不能直接充当批准门槛;
结构化诊断能区分哪些问题类型？
- 可区分: 任务失败、规则违规、虚假承诺、表达问题;
- 必要性: 四类问题的修复位置不同，混成一个失败标签会让更新路由失去依据;
- 例子: “只有总分的验证方式”与“逐维度输出结论、证据与置信度的验证方式”相比，后者更容易区分上述类型;
结构化诊断与后续更新如何衔接？
- 输入: 一次任务的评价结果同时给出结论、维度、证据与标签;
- 输出: 由更新路由决定写入知识、指令、程序还是参数（见四种更新载体的路由）;
- 依赖: 轨迹评价是知识抽取的抽取条件，评价质量决定提炼材料的质量;