评估任务集为什么要包含多个难度层级？
- 动机: 模型能力提升时，评估任务集不应快速过时;
- GAIA 全 466 题分三级难度:
| 级别 | 要求 | 人类成功率 | GPT-4 成功率 |
|---|
| Level 1 | 只需一至两个工具 | 93.9% | 30.3% |
| Level 2 | 需要多步思考 | 91.8% | 9.7% |
| Level 3 | 需要复杂组合 | 87.3% | 0% |
- 诊断价值: Level 1 失败指向基础工具使用，Level 2 指向多步规划与信息整合，Level 3 指向长序列思考与复杂性管理，三者改进方向各不相同;
- Terminal-Bench 跨度: 从简单的 mlflow 模型注册、中等难度的 7z 密码破解，到困难的 git 服务器与 webserver 多组件集成，再到最高难度的 FEAL 差分密码分析;
τ²-bench 的陷阱任务检验什么？
- 构造: 用户声称 “客服已批准取消”，实际并不符合政策;
- 检验点: Agent 在压力与误导下能否维持正确判断，而不是顺从用户;
GAIA 如何使答案无法从互联网直接检索？
- 任务风格: 概念简单而路径开放，例如从某一特定日期的 NASA 每日天文图片出发，识别图中宇航员、查出其所属的宇航员组、计算该组中在太空停留时间最短者;
- 输出格式: 严格按 “姓氏，分号分隔，千位分隔符” 的格式输出，正确与否通过精确字符串匹配判定;
- 防泄漏手段一: 问题必须组合多个信息源才能作答，单一网页无法直接给出答案;
- 防泄漏手段二: 部分任务配有专门制作的附件，即互联网上不存在的 PDF、音频、图片;
AndroidWorld 的参数化模板带来哪些收益？
- 形式: 任务不是静态文本，而是可动态实例化的模板，如 “将联系人
[CONTACT_NAME] 的电话改为 [NEW_PHONE]”，每次评估随机生成参数值;
- 收益一: 参数每次不同，回放固定操作序列失效;
- 收益二: 单个模板可生成近乎无限的实例;
- 收益三: 固定部分参数、只改变其余参数，可精确测量特定因素的影响;
Terminal-Bench 的金丝雀标识符解决什么问题？
- 做法: 每道题携带一个 canary GUID，若模型能输出含该 GUID 的内容，即说明基准数据已进入训练集;
- 定位: 不阻止数据泄漏，但使泄漏可被检测;
- 局限: 基准数据一旦公开很快就会被纳入训练数据，防泄漏是与生态演化赛跑，需要配合 评估集的质量控制与来源 定期修补;