转接边界规则的提炼案例
τ²-bench telecom 暴露了什么缺陷？
- 原始政策: 关于转接人工只有两条原则性规定——请求超出 Agent 的动作范围时才转接，转接前应先尽力解决;
- 何时暴露: 环境解剖阶段这两条并未显出问题，换用能力较弱的模型运行后缺陷被放大;
- 失败形态: 工具返回错误后 Agent 反复重试，最终以转接人工收场;
- 严重程度: 提炼集的 20 条任务中有 19 条如此结束;
自动提炼规则能带来多少收益？
- 做法: 把 19 条失败轨迹交由模型自行归纳，产出若干可执行规则追加到政策末尾;
- 结果: 在一批未参与提炼的任务上重跑，通过率由 12.3% 升至 19.3%;
- 无退步: 原本通过的任务无一被改坏;
- 说明: 改善来自规则修复了具体动作，而不是分数抖动;
提炼所依据的材料如何决定归纳结果？
| 提供的材料 | 归纳结果 | 性质 |
|---|---|---|
| 仅失败摘要与错误文本 | 同一工具反复报错即不应继续调用 | 记录教训 |
| 附加 Agent 与用户各自可调用的工具清单 | 网络状态、SIM 卡、APN 等属于用户设备侧，应引导用户自行操作 | 理解职责归属 |
- 结论: 同样的 19 条轨迹，材料不同则提炼出的规则性质不同;
为什么模型会把失败写成规范？
- 机制: 模型会把轨迹中观察到的行为当作应然的行为;
- 具体规则: 第一版规则中出现了“连续三次调用失败即转接人工”“用户两次未提供号码即转接人工”;
- 来源: 轨迹中出现最频繁的动作正是转接人工，模型据此把它视为合理的兜底手段;
- 荒谬之处: 在这套评估中转接人工必然判定失败，这两条规则等于把失败写入了规范;
- 结论: 提炼产物不能直接发布，须经与提炼者相互独立的验证;
被修复的往往是哪一类缺陷？
- 判断: 常常是极朴素的缺陷，而不是复杂的推理错误;
- 典型轨迹: Agent 需要用户的电话号码，于是调用查询工具，并把“请您提供您的电话号码”填入参数，连续五次报错，随后转接人工;
- 病灶: 它已经判断出应当询问用户，却把这句话说给了工具;
- 修复后行为: 先在对话中提出请求、取得号码再查询；此后检查 SIM 卡状态遭工具拒绝，转而引导用户自行重新插拔，任务通过;
如何确认提升来自规则而非偶然？
- 行为指标: 除通过率外，记录转接人工的比例、Agent 越界调用用户侧工具的次数、参数缺失即发出的调用次数;
- 观察: 后两项在进化版本中均下降约八成，与规则针对的动作直接对应;
同类做法如何移植到其他领域？
- 航空客服现象: 用户对退票费、改签费或行李政策提出异议时，Agent 未查询政策、未解释规则、未寻找合规替代方案，即调用
transfer_to_human; - 正确边界: 一般政策争议无须转接，只有用户明确要求人工介入、或出现安全相关情形时才必须转接;
- 修法: 诊断同样指向“转接边界未予明确”，同样将其落成一条带出处的最小规则;