为什么评估的对象是模型与 Harness 的组合体？
- 命题: 同一模型在不同 Harness 中表现差异悬殊，评估对象应是
模型 + Harness 的组合而非模型本身;
- 依据: 只优化 Harness 即可显著提升同一模型在终端类任务上的表现（LangChain 在 Terminal Bench 2.0 上只改 Harness，52.8% → 66.5%，见 Harness工程）;
- 推论: Agent 表现不佳时，改进方向可能是提示词、工具设计或反馈循环，而非换模型;
- 目标: 评估体系要能区分 “模型能力不足” 与 “Harness 设计缺陷” 两类本质不同的问题;
模型替换实验与消融实验分别回答什么问题？
- 模型替换（model swap）: 固定 Harness，只更换更强或更弱的模型，观察分数变化幅度;
- 判读一: 换强模型分数不涨 → 瓶颈在 Harness;
- 判读二: 换弱模型分数大跌、分数随模型能力大幅波动 → 当前表现主要由模型能力决定;
- 待进一步分析: 分数随模型波动也可能源于任务本身过难，或 Harness 过度依赖模型先验;
- 消融实验: 逐一关闭 Harness 的某个组件，看整体性能变化;
- 分工: 消融定位 Harness 内部哪个部件重要，模型替换区分瓶颈在模型还是在 Harness;
- 详见: Harness工程、上下文构成与消融;
为什么必须建立可重复的评估体系？
- 度量: 没有度量就没有改进；不建立可重复的评估体系，迭代方向只能靠直觉;
- 决策依据: 系统性对比实验（改变一个变量看效果）与消融实验（关闭组件看贡献），用于区分真实能力提升与表面波动;
- 待回答的设计问题: 用什么模型、开哪些工具、知识库存什么与什么结构、用户记忆怎么做、提示词与 Skills 如何组织、Harness 加哪些约束、评估结果如何转为学习信号;
- 模型演进: 新模型在公开基准上更好，不代表在你的任务上也更好，反而可能出现性能退化（regression）;
- 升级决策: 只有在自己的评估数据集上完整测试，才能做出数据驱动的升级决策;
“为未来的模型开发产品” 是什么策略？
- 定义: 当前模型不足以支撑商用，也先完成产品开发并建立评估集，持续追踪新模型表现，达到门槛立即上线;
- 前提: 拥有可重复运行的评估集，把 “模型换代” 变成一次可判读的评估运行;
- 定位: 评估在 Harness 中扮演 “验证” 功能的核心角色，对应第一章发现循环中的证据段——失败归因决定后续提案有没有可依之据;
- 详见: Harness工程;
一套评估体系由哪四个环节构成？