从单轮到多轮，复杂度跃迁在哪里？
- 单轮设定: 模型接收输入、产出输出、获得奖励，无需维护跨步骤的状态;
- 多轮新增: 策略不仅要选择当前最优动作，还要考虑未来的状态价值;
- 新增难点: 在延迟奖励下进行信用分配（Credit Assignment）——判断多步序列中到底哪一步对最终结果贡献最大;
- 示例: 客服 Agent 用 10 轮对话解决用户问题并获得好评，好评该归功于第 2 轮的精准提问，还是第 7 轮的耐心解释？;
- 与既有概念的对应: 多轮交互正是 ReAct 循环，每一轮就是一次“思考 → 行动 → 观察”的迭代，见ReAct 循环;
- 延迟奖励的根源: 最终结果好坏要在多轮之后才能判断这一结构性约束;
多轮视觉导航实验说明了什么？
- 任务: Agent 在真实城市街景中连续导航，训练使用纽约路线，测试迁移到不同城市，并同时改变方向表达和视觉外观;
- 结果: RL 在规则和视觉 OOD 上都明显优于 SFT;
- 解释: 多轮任务中策略需要学会根据当前观测重新规划，而不是复现训练轨迹;
- 配置: 使用带价值网络的 PPO，并观察到逐步反馈能缓解长时序信用分配;
稀疏结果奖励在多轮任务中有什么优势？
- 设定: 在机器人操作任务中只使用成功/失败结果奖励，每个任务仅用一条演示轨迹做 SFT 冷启动;
- 结果: RL 把成功率从 17.3% 提升到 91.7%，并发现演示中没有出现的“推切”动作;
- 与密集反馈的对照: 过程信号容易定义时能加速学习，最优路径未知时稀疏结果奖励反而保留更大的探索空间;
- 意义: 说明 RL 有机会探索出示范之外的策略；但奖励无法识别的质量学不到，探索不到的策略也发现不了，见SFT 与 RL 的本质区别;
接入工具后动作空间发生了什么变化？
- 动作扩展: 多轮任务一旦接入外部工具，动作就不再只是“移动或回答”，而是搜索、执行代码、修改文件、查询数据库和组合多个 API;
- 连带问题: 信用分配、环境工程和安全约束都成了工具调用中的核心问题;
- 检索增强路线: Search-R1 让模型自主决定何时搜索、搜索什么，并利用返回结果继续推理;
- 代码解释器路线: ReTool 把代码解释器嵌入思考循环，模型需要学会何时执行代码、如何读取反馈、如何根据报错修正;
- 多工具沙盒: AWorld-train 提供 MCP 多工具沙盒，进一步引入工具选择、依赖管理、状态重置和可重放性问题;
工具轨迹上有哪个容易忽略的实现细节？
- 原则: 环境返回的 token 不是策略生成的，计算策略梯度时应屏蔽这些反馈 token;
- 只回传的对象: 模型自己的思考和工具调用参数;
- 不屏蔽的后果: 模型会被训练去预测沙盒输出，而不是学会如何使用工具;
代码解释器 RL 的效果如何？
- 流程: 在 SFT 预热后，用交织的文本思考、代码执行和解释器反馈进行 PPO 训练;
- 学会的行为: 主动执行、读取错误并自我修正;
- 数据与算法: 训练数据来自 DAPO-Math-17k，优化算法仍是标准 PPO;
- 结果: AIME 2024 上从约 25% 提升到 67.0%;
- 对照: 相比纯文本 RL，代码反馈让模型更快学会精确计算和纠错;
- 效率观察: 少数超长响应会显著拖长整个训练周期——一批 rollout 里绝大多数已经生成完毕，却要等最长的那几条收尾，其间集群 GPU 利用率很低;
开放式多工具训练的重点是什么？
- 环境: 使用 MCP 服务器沙盒，提供 Web、文档、多媒体、代码和知识检索等工具;
- 重点: 不是刷新 GAIA 指标，而是跑通可重置、可重放的多工具训练链路;
- 观察对象: 工具调用成功率和组合策略是否随训练改善;
- 共同结论: 多轮 Agent 的训练难点不是“有没有一个更复杂的优化器”，而是环境反馈是否可靠、动作链是否可验证，以及最终奖励该如何归因到中间决策;