跳到主要内容

Computer Use 动作空间

Anthropic 参考实现把交互能力分成哪三类工具?​

工具类别职责
computer toolGUI 操作鼠标、键盘与感知动作
bash tool命令执行持久终端会话
str_replace_editor文件编辑基于字符串匹配的安全编辑
  • 性质: 这是一个清晰的动作空间设计,但不是模型供应商必须遵守的私有协议;
  • 可移植性: 只要 Harness 能把同样的截图、动作约束与执行结果转换成目标模型支持的消息与结构化输出,Claude、开放权重视觉模型与自托管端点都可以驱动同一个感知-思考-行动循环;
  • 循环本身见 Computer Use 交互循环;

GUI 操作工具的粒度有多细?​

  • 鼠标: 移动 mouse_move;左/右/中键点击;双击/三击;拖拽 left_click_drag;更精细的按下/松开 left_mouse_down/left_mouse_up;
  • 滚动: scroll 支持四个方向,并可配合修饰键;
  • 键盘: 逐字输入 type(每个字符间隔 12ms 模拟真实打字)、组合键 key(如 Ctrl+C)、长按 hold_key;
  • 感知动作: 截图 screenshot、获取光标位置 cursor_position、等待 wait;
  • 设计取向: 动作原语按人类输入设备的最小操作单元切分,而不是按任务语义切分;

命令执行工具为什么要持久会话?​

  • 参数: 提供持久的 bash 终端会话,120 秒超时;
  • 完成检测: 通过哨兵字符串判断命令是否执行完毕,而非依赖固定等待;
  • 状态保持: 多次调用之间保持环境状态——例如 cd 到某个目录后,下次调用仍在该目录;
  • 意义: 命令执行把任意系统级操作纳入动作空间,持久性使多步操作可组合;
  • 安全边界: 这类开放式动作需要隔离环境承载,见 虚拟身份与隔离执行环境;

文件编辑工具为什么用字符串匹配?​

  • 操作: 通过字符串匹配实现安全编辑,支持查看、创建、替换、插入与撤销;
  • 相较整体覆盖: 比直接覆盖整个文件更精确,不容易误改其他内容;
  • 通用原则: 开放式能力用于组合与探索,高风险操作需要参数明确、可审计,见 观察与动作空间;