Computer Use 的感知-思考-行动循环如何运转？
- 定义: Computer Use（也称 GUI 自动化 Agent）让 AI 像人类一样通过观察屏幕、操作鼠标键盘来使用软件——打开浏览器搜索、在表格软件填写数据、在系统设置调整配置;
- 第一步: Agent 截取当前屏幕画面;
- 第二步: 多模态模型接收截图与任务指令，输出一段思考和一个具体动作;
- 第三步: 执行层在真实环境中执行该动作（移动鼠标、点击、输入文字）;
- 第四步: 等待界面响应后再次截图，进入下一轮循环;
- 形态对照: 语音的观察是一维声音流，Computer Use 把它搬上二维屏幕——观察变成持续变化的像素，动作变成坐标上的点击与输入;
“看懂界面”和“完成任务”为什么要区分？
- 看懂界面: 更接近多模态理解能力，可以用一次截图问答来测量;
- 完成任务: 要求模型把理解与生成动作放进闭环，处理页面加载、状态变化、误操作和不可逆后果;
- 难点定位: 不只是让模型在截图上答对，而是让它在每一步之后重新确认现实是否仍符合计划;
- 与语音的差异: 语音场景强调“何时开口”，Computer Use 强调“下一步点哪里”，以及动作执行后现实是否与计划一致;
这个循环有哪三个关键设计维度？
- 动作空间: Agent 能执行哪些操作，见 Computer Use 动作空间;
- 视觉定位: 如何在截图中找到目标元素，见 视觉定位三条路线;
- 模型架构: 如何从截图生成正确动作;
- 模型可替换性: 这是循环的结构约束，不绑定特定供应商——只要 Harness 能把同样的截图、动作约束与执行结果转换成目标模型支持的消息与结构化输出;
“屏幕是静止的”这个假设为什么站不住？
- 隐含假设: 截一张图、想一步、点一下，再截下一张图;
- 反例: 屏幕会放视频、会弹出转瞬即逝的通知、会播放会议里的人声;
- 后果: 一个每 3–5 秒才睁一次眼、而且完全没有耳朵的 Agent，对“两帧之间发生的事”既看不见也听不到;
- 改造方向: 真正该重新设计的不是动作接口，而是观察接口，见 Agent-电脑观察接口;
- 剩余瓶颈: 观察接口不消除规划延迟，成功率追上人类也不等于足够实用，见 世界模型与动作预测;