为什么观察接口比动作接口更需要重新设计？
- 前提对比: Computer Use 的动作接口已有成熟设计，瓶颈出在观察侧;
- 隐含假设: 屏幕静止——截一张图、想一步、点一下;
- 失效场景: 视频播放、转瞬即逝的通知、会议里的人声，都发生在“两帧之间”;
- 后果: 每 3–5 秒才截一次图、且完全没有耳朵的 Agent，对这些事件既看不见也听不到;
AOI 的三项关键技术是什么？
- AOI（Agent–Computer Observation Interface，Agent-电脑观察接口）: 把连续的环境观察转换成模型便于处理的离散事件;
- 技术一 屏幕关键帧截图: 用一个小模型判断屏幕是否发生有意义的变化，只在显著变化时截图；变化频繁时每秒截图 1 次即可获得不错效果;
- 技术二 音量门控的语音转写: 有声音时才调用语音识别，把识别出的文字放入上下文，使 Agent 能够“听到”声音;
- 技术三 用文字描述画面: 让模型把捕获到的屏幕截图描述成一句话;
- 设计原则: 观察侧的输出应是离散、可过滤的事件流，而不是原始像素与波形的持续灌入;
文字描述画面为什么能压缩多模态历史？
- 机制: 截图被描述成一句话后，即使原图之后被清理出上下文，这句文字仍留在上下文里;
- 效果: 实现多模态交互历史的压缩，在有限上下文预算下延长可回溯的交互跨度;
- 与关键帧的关系: 关键帧决定“何时看”，文字描述决定“看过之后留下什么”;
- 来源: 该路线出自 Agent-Computer Observation Interfaces 的相关研究;
- 定位: 观察接口只解决“屏幕中间发生了什么”，不解决规划延迟;