为什么 Agent 的行为改变不止发生在训练阶段?
- 问题: 模型可以通过强化学习把工具调用策略内化为原生能力,但 Agent 的行为改变不只发生在训练阶段;
- 分类依据: 按更新发生的位置与持续时间划分;
- 三条路径: 任务内的上下文适应、跨任务的外部产物(artifact)更新、训练周期中的参数更新;
- 关系: 不是互斥分类,而是不同时间尺度上的协同机制——上下文负责临场适应,外部产物负责可控积累,参数负责内化难以显式表达的能力;
上下文适应适合解决什么问题?
- 定义: 发生在当前任务中,示例、状态和检索结果进入上下文后模型立即调整行为;
- 优势: 快速、低成本;
- 局限: 不会改变下一次会话的持久状态,且受上下文窗口与信息组织方式约束;
- 展开位置: 详见第二章;
外部产物更新为什么可审计、可积累?
- 定义: 把变化跨任务保留下来,更新 Agent 边界内的外部产物;
- 事实与经验: 整理为知识文档;
- 可语言化的策略: 写进 Prompt 或 Skill;
- 确定性流程与约束: 写成程序和 Harness;
- 特性: 可审计、可修订;执行时仍需通过上下文或工具接口被 Agent 使用;
- 基础与生成: 知识与程序基础见第三至五章;如何从已评价的运行轨迹生成这些更新见第九章;
什么情况下必须更新模型参数?
- 适用目标: 医疗影像理解、自然语言风格、隐式决策策略等高维能力,外部规则难以完整表达;
- 手段: 通过后训练更新模型参数;
- 代价: 部署成本较高;
- 收益: 能形成自然、广泛的泛化能力;
- 展开位置: 详见第八章;