跳到主要内容

Agent 的三条学习路径

为什么 Agent 的行为改变不止发生在训练阶段?​

  • 问题: 模型可以通过强化学习把工具调用策略内化为原生能力,但 Agent 的行为改变不只发生在训练阶段;
  • 分类依据: 按更新发生的位置与持续时间划分;
  • 三条路径: 任务内的上下文适应、跨任务的外部产物(artifact)更新、训练周期中的参数更新;
  • 关系: 不是互斥分类,而是不同时间尺度上的协同机制——上下文负责临场适应,外部产物负责可控积累,参数负责内化难以显式表达的能力;

上下文适应适合解决什么问题?​

  • 定义: 发生在当前任务中,示例、状态和检索结果进入上下文后模型立即调整行为;
  • 优势: 快速、低成本;
  • 局限: 不会改变下一次会话的持久状态,且受上下文窗口与信息组织方式约束;
  • 展开位置: 详见第二章;

外部产物更新为什么可审计、可积累?​

  • 定义: 把变化跨任务保留下来,更新 Agent 边界内的外部产物;
  • 事实与经验: 整理为知识文档;
  • 可语言化的策略: 写进 Prompt 或 Skill;
  • 确定性流程与约束: 写成程序和 Harness;
  • 特性: 可审计、可修订;执行时仍需通过上下文或工具接口被 Agent 使用;
  • 基础与生成: 知识与程序基础见第三至五章;如何从已评价的运行轨迹生成这些更新见第九章;

什么情况下必须更新模型参数?​

  • 适用目标: 医疗影像理解、自然语言风格、隐式决策策略等高维能力,外部规则难以完整表达;
  • 手段: 通过后训练更新模型参数;
  • 代价: 部署成本较高;
  • 收益: 能形成自然、广泛的泛化能力;
  • 展开位置: 详见第八章;