更新能力与受益能力

为什么不能用端到端分数反推更新器好坏？

• Harness 更新能力（harness-updating）: 从轨迹中产生有价值的持久修改;
• Harness 受益能力（harness-benefit）: 任务 Agent 在后续运行中找到、激活并正确使用这些修改;
• 混合失效: 一个 Skill 本身可能写得完全正确，但较弱的任务模型没有在合适场景加载它，或加载后无法长期遵循;
• 后果: 任一种失效都会让最终成绩看起来“没有进化”;
• 证据: 模型替换实验表明，这两种能力与基础模型能力的关系并不相同;

分层评估指标各回答什么问题？

指标	回答的问题	主要证据
更新提案有效率	更新器是否提出了有价值的修改	提案在独立验证中的接受率与增益
产物激活率	任务 Agent 是否在正确场景加载了新 Skill、记忆或工具	检索、路由与工具调用轨迹
遵循成功率	激活后是否按新规则或流程执行	动作序列与过程验证器
保留任务集增益	整体是否改善了未参与进化的任务，是否有泛化能力	保留集成功率、质量与成本

• 用途: 四项指标把“没进化”拆成“没提出好提案”“没被激活”“没被遵循”“没有泛化”四种成因;

长期评价至少要观察哪五类结果？

• 回退（regression）: 新经验是否与已有其他经验冲突，原本能通过的案例是否出现回退;
• 泛化能力: 新经验在测试集尚未覆盖的场景中带来的效果提升;
• Token 效率: 完成任务消耗的 Token 成本;
• 安全性: 规则、隐私和拒绝边界是否随进化漂移;
• 长期工程质量: 维护复杂度、架构一致性、所有权边界、向后兼容性，以及未来迁移和调试负担是否恶化;

什么情况不算成功的持续进化？

• 局部修复但整体退化: 只解决了当前失败案例，却在其他已有案例或新领域中退化;
• 靠违规捷径: 分数提高但依赖违规捷径完成任务;
• 沿用已废止规则: 系统继续使用已废止的规则;
• 更新后遗忘: 更新破坏了原有能力;
• 判定: 持续进化至少包含四个环节——记住、迁移、更新和保持；最终分数高并不够;

评估在持续进化中处于什么位置？

• 结论: 评估不是学习结束后集中进行的考试，而是自我进化过程中不可或缺的一部分;
• 形式: 每个更新提案都要在边界集、保留集和安全集上评估;
• 门槛: 通过后才进入灰度与正式发布（见持续进化的安全边界）;