跳到主要内容

交互扩展的两个维度

为什么观察与动作空间可以从模态和时机两个方向扩展?​

  • 模态: 决定观察与动作的形式——只读文本,还是也能听声音、看屏幕、感力矩;只输出 token,还是也能发声、点击、驱动关节;
  • 时机: 决定观察与动作的节奏——观察由 Agent 主动去取还是世界主动推来;动作必须回合内做完还是可跨回合、可打断、可被抢占;
  • 关系: 第二至五章扩展的是两个空间的内容,本篇扩展的是它们的模态与时机;
扩展方向观察空间的扩展动作空间的扩展
内容上下文工程、记忆与知识库工具、代码生成
模态语音、屏幕、物理传感器说话、点击、关节运动
时机世界主动推送、连续流跨回合、可打断、可抢占

为什么说回合制只是接口约定而非环境性质?​

  • 命题: 回合制是模型与工具调用接口之间的一种交互约定,真实环境不会等模型作出反应;
  • 反例: 邮件在模型思考时到达;用户在模型说到一半时插话;页面在两次截图之间已经变样;杯子在机械臂伸手途中被碰倒;
  • 接口演进: 截至 2026 年 9 月,GPT-6 Astra 已提供原生异步工具调用与回合中途追加用户指令的能力;
  • 两条路线: 模型原生支持异步节奏,与运行时在既有同步接口上模拟异步语义,长期并存;
  • 展开位置: 兼容方案见 同步接口的异步兼容方案,原生能力见 模型原生异步;

不同时间尺度上观察与动作各发生什么变化?​

尺度场景观察侧变化动作侧变化
秒 — 天异步与事件驱动会被外部事件主动唤醒动作跨回合:先发起,后续靠事件收尾
10 毫秒 — 1 秒语音边说边听,不等一句说完边想边说,可被打断
亚秒 — 秒Computer Use屏幕在两帧之间持续变化动作后必须重新确认现实是否仍符合计划
毫秒机器人传感器连续回流动作分块:一次规划一小段,可被抢占
  • 尺度递减的含义: 环境变化速度逐渐接近甚至超过模型生成速度,能接收更新不再等于能及时反应;
  • 共享骨架: 持续感知 → 判断当前状态与时机 → 选择回复或动作 → 让输出进入环境 → 观察反馈 → 继续、修正、重试、停止或重新规划;
  • 共享原语: 唤醒、安全点、取消、抢占、快慢分离,在同一骨架的不同时间尺度上反复出现;