评估环境五要素与类型框架

可重复运行的评估环境必须具备哪五个要素？

• 前提: 给定同一个初始状态，同一个 Agent 应当得到可比较的结果;
• 五要素: 数据集、环境状态、工具接口、评分标准、执行协议;
• 缺一不可: 五个要素缺其一，评估便无法构成可重复的循环;
• 用途: 考察其他基准时，以这五项作为对照框架;

要素	内容	以 telecom 任务为例
数据集 Dataset	一条记录即一个用例	初始状态 + 工单 + 模拟器规范 + 验收标准打包为一条
环境状态 Environment State	执行中的可变信息，必须可重置	客户/线路/套餐/账单 + 飞行模式/漫游/省流开关/剩余流量
工具接口 Tools	两侧各自的原子操作	Agent 侧查询客户、查询用量、充值、转人工；用户侧设备开关
评分标准 Rubric	分层检查 + 聚合规则	evaluation_criteria 四层检查 + reward_basis
执行协议 Interaction Protocol	交互顺序与终止条件	模拟用户输出 ###STOP###、轮数上限、耐心耗尽主动结束

环境状态的真实性要求与控制要求分别是什么？

• 真实性: 状态变化必须符合业务逻辑，如充值后余额与网速的联动必须自洽;
• 可控性: 每次运行前都能回到同一起点，initialization_actions 即重置脚本;

工具接口为什么要保持原子性？

• 原则: 两侧工具均为原子操作，不存在 “解决用户的上网问题” 这类高层抽象;
• 后果: 抽象层次过高会使评估退化为对单次函数调用的考察，规划与推理环节被工具本身吸收;
• 分工: Agent 侧为运营商侧操作，用户侧为设备侧操作，两侧不可混用，结构见 评估任务解剖与真实轨迹;

执行协议规定了哪些终止条件？

• 正常终止: 模拟用户输出 ###STOP###;
• 硬性上限: 轮数上限;
• 失败终止: 模拟用户因耐心耗尽而主动结束对话，沟通效率过低本身即计为失败;
• 意义: 终止条件决定 “未完成” 与 “超预算” 是否被区分统计;

评估环境与 Harness 的边界如何划分？

• 归属: 工具定义、调用适配器、沙箱的权限与重置机制属于 Harness;
• 归属: 沙箱内随行动变化的文件与进程、外部数据库、网页、用户及物理世界属于 Environment;
• 澄清: 物理部署位置不决定概念归属，即使仿真环境与 Agent 同进程，它仍是 Environment;
• 详见: Harness工程;

人机交互型与工具调用型环境的区别是什么？

• 人机交互型: 必须设置交互对象，五个要素中的用户模拟部分不可或缺，如 telecom 客服场景;
• 工具调用型: 不存在对话对方，Agent 自始至终只与工具交互，正确性由能否通过执行验证决定;
• 典型任务: 代码生成、数据分析、数学求解——既不需要人工标注，也不需要模型评判;
• 结构差异: 工具调用型省去用户模拟器，环境状态是文件系统或数据库，评分标准是一段测试代码;
• 执行协议差异: 工具调用型退化为 “持续调用工具，直至给出答案或耗尽轮次”;
• 考察焦点: 工具调用型验证行动（可观测状态变更的正确性），人机交互型验证引导（沟通策略的合理性）;

Verifiers 框架按哪两个维度划分环境？

• 维度一: 任务是否需要保持跨轮状态;
• 维度二: 任务是否需要隔离;

环境类型	状态保持	工具调用	典型用例
SingleTurnEnv	无	无	单轮问答、数学题
ToolEnv	无	多轮	搜索 + 信息综合
StatefulToolEnv	有	多轮	修改数据库记录
SandboxEnv	有 + 隔离	多轮	代码执行与测试

• 选型方式: 按任务状态、工具调用与隔离需求选择对应环境;

框架还需要提供哪些评估配套能力？

• 轨迹缓存: 支持并行采样与轨迹缓存，每次评估的完整轨迹（观察、行动、奖励）均会保存，便于后续分析与回放;
• 错误信息: 工具的执行效果取决于当前状态，失败时应返回清晰的错误信息而非单一的失败标志，使 Agent 能够据此调整策略;
• 与仿真的区别: 训练用仿真环境对吞吐与随机化的要求远高于评估环境，见 仿真环境与后训练桥梁;