跳到主要内容

人工介入与反馈循环

为什么人工介入仍然必要？​

  • 原因: 某些关键的决策点上，判断本质上需要人类的价值观或领域专业知识;
  • 术语: 简称 HITL（Human-In-The-Loop，人在回路），即在 Agent 的决策流程中加入人类审核环节;
  • 定位: 护栏视角下的人工干预触发条件（失败阈值、高风险操作）见 护栏与安全;
  • 目标: 让 Agent 在无法完成任务时平稳移交控制权;

超时与降级策略如何设计？​

  • 前提: HITL 请求可能不会立即得到响应;
  • 超时: 设置超时阈值和默认行为，例如“如果 5 分钟内没有响应，采用保守策略”;
  • 优先级队列: 紧急请求通过多渠道通知，普通请求只发邮件;

人工审批对应哪些工具？​

  • 决策类: request_human_approval（请求批准）与 request_human_input（请求额外信息输入），在关键决策前调用，支持超时和默认行为;
  • 通知类: send_im_notification、send_email_notification、send_slack_message，用于多渠道通知;
  • 配套: 与子 Agent 管理工具的接口划分见 协作工具与子 Agent;

HITL 反馈如何形成学习循环？​

  • 数据: 人类的批准、拒绝及其理由首先构成带证据的反馈数据;
  • 可归纳: 可归纳的判断原则可以进入知识库或 Skill;
  • 隐式: 高维而隐式的偏好则可以形成后训练数据;
  • 原则: HITL 不应是一次性的交互，而应形成学习循环;
  • 展开位置: 如何评价这类轨迹并选择更新载体，详见第九章;