为什么观察与动作空间可以从模态和时机两个方向扩展?
- 模态: 决定观察与动作的形式——只读文本,还是也能听声音、看屏幕、感力矩;只输出 token,还是也能发声、点击、驱动关节;
- 时机: 决定观察与动作的节奏——观察由 Agent 主动去取还是世界主动推来;动作必须回合内做完还是可跨回合、可打断、可被抢占;
- 关系: 第二至五章扩展的是两个空间的内容,本篇扩展的是它们的模态与时机;
| 扩展方向 | 观察空间的扩展 | 动作空间的扩展 |
|---|
| 内容 | 上下文工程、记忆与知识库 | 工具、代码生成 |
| 模态 | 语音、屏幕、物理传感器 | 说话、点击、关节运动 |
| 时机 | 世界主动推送、连续流 | 跨回合、可打断、可抢占 |
为什么说回合制只是接口约定而非环境性质?
- 命题: 回合制是模型与工具调用接口之间的一种交互约定,真实环境不会等模型作出反应;
- 反例: 邮件在模型思考时到达;用户在模型说到一半时插话;页面在两次截图之间已经变样;杯子在机械臂伸手途中被碰倒;
- 接口演进: 截至 2026 年 9 月,GPT-6 Astra 已提供原生异步工具调用与回合中途追加用户指令的能力;
- 两条路线: 模型原生支持异步节奏,与运行时在既有同步接口上模拟异步语义,长期并存;
- 展开位置: 兼容方案见 同步接口的异步兼容方案,原生能力见 模型原生异步;
不同时间尺度上观察与动作各发生什么变化?
| 尺度 | 场景 | 观察侧变化 | 动作侧变化 |
|---|
| 秒 — 天 | 异步与事件驱动 | 会被外部事件主动唤醒 | 动作跨回合:先发起,后续靠事件收尾 |
| 10 毫秒 — 1 秒 | 语音 | 边说边听,不等一句说完 | 边想边说,可被打断 |
| 亚秒 — 秒 | Computer Use | 屏幕在两帧之间持续变化 | 动作后必须重新确认现实是否仍符合计划 |
| 毫秒 | 机器人 | 传感器连续回流 | 动作分块:一次规划一小段,可被抢占 |
- 尺度递减的含义: 环境变化速度逐渐接近甚至超过模型生成速度,能接收更新不再等于能及时反应;
- 共享骨架: 持续感知 → 判断当前状态与时机 → 选择回复或动作 → 让输出进入环境 → 观察反馈 → 继续、修正、重试、停止或重新规划;
- 共享原语: 唤醒、安全点、取消、抢占、快慢分离,在同一骨架的不同时间尺度上反复出现;