世界模型与动作预测

世界模型要解决什么问题？

• 现有循环的低效: Agent 仍是串行的“截图—思考—点击”，每执行一个动作都重新观察、思考下一步;
• 效率证据: OSWorld-Human 的效率研究显示，即使任务最终成功，Agent 的操作步骤仍明显多于人类、等待时间也更长;
• 判断: 准确率达到人类水平，并不等于已经足够实用;
• 人类做法: 不是点击之后才开始想下一步，而是先预测动作后果——变化与预期一致就沿计划继续，偏离才停下重新观察和规划;
• 定义: 世界模型是“动作结果预测器”，学习在当前状态下采取某个动作，下一刻状态可能怎样变化，从而实现类似人类的推测执行;

桌面世界模型需要建模哪些状态与动作？

• 状态内容: 桌面状态不只是一张像素图，还包括窗口、焦点、滚动位置、输入框内容、加载状态、权限和网络返回;
• 动作集合: 点击、键盘输入、滚动、拖拽、等待;
• 核心用途: 编码当前状态、预测候选动作造成的状态变化，并把预测交给规划器决定下一步;

桌面状态 + click/type/scroll/wait ──> 下一状态的表示

• 举例: 任务“在 VS Code 新建 Python 文件并写入 hello world”时，先预测文件树与编辑器成功后的关键状态，再选择点击、输入与保存动作;
• 风险场景: 删除文件类任务可先在隔离虚拟桌面预测是否出现不可逆确认框，必要时请求用户确认;
• 重点澄清: 不是让模型生成一张逼真的未来截图，而是预测完成任务所需的、可检查的状态差异;

Photon-1 说明了哪条实现路线？

• 公布: 2026 年 7 月 Induction Labs 公布的 Computer Use 世界模型;
• 成本: 仅用 3 万小时的 H200 GPU 时间完成预训练;
• 表示: 把每帧压缩为离散的潜在 token，自回归预测动作之后的下一状态表示，而不是在预训练阶段逐像素生成截图;
• 图像生成器: 只用于把潜在表示可视化，并非推理必需组件;
• 训练方式: 给定种子截图与后续动作，模型可连续“想象”桌面状态，再通过虚拟机上的在线训练学会输出 computer-use 动作;

机器人世界模型至少要做哪三件事？

• 看懂当前状态;
• 预测不同动作可能带来的结果;
• 把这些预测交给规划器或控制器，帮助它们做选择;

当前状态 + 候选动作
    → 预测下一状态或未来片段
    → 比较候选结果
    → 选择动作、重新规划或安全停止

• 代表路线: V-JEPA 2 在内部状态中预测未来；World-Action Model 明确学习“动作—未来观察”的关系;
• 关系: 这些模型可与 VLA 配合使用，不需要取代 VLA，见 VLA 控制与局限;
• 反例: 只会描述视频的 VLM，或只会生成画面的模型，不会自动变成可靠的机器人世界模型——它还必须知道动作是什么，并能预测动作对物体与环境的影响;

世界模型在系统中通常有哪三种用法？

• 动手前: 比较抓取、推动、等待等候选动作，优先选择风险更小的方案;
• 执行时: 把真实观察与预测结果对照，发现偏差就缩短动作、停止或重新规划;
• 训练时: 利用视频、仿真数据和失败轨迹学习状态变化，减少真机上的试错次数;
• 桌面示例: 黄色废纸被红色杯子部分遮住时，可比较“先抓纸”“先移动杯子”“换一个抓取方向”，只要能预测哪些动作更可能让纸张变得可抓取、哪些可能碰倒杯子，就足以帮助规划器排序;

世界模型的可靠性边界在哪？

• 误差性质: 预测得越远，误差通常越大;
• 画面与物理的差别: 一段看起来逼真的未来画面，也可能不符合真实的接触与摩擦规律;
• 必备配套: 短期预测、实时观察、对不确定性的估计，以及独立的硬件安全控制器;
• 使用纪律: 动作执行后真实摄像头观察仍是最终事实——预测只能帮助选择，不能代替验收;
• 概念澄清: 生成式世界模型可用于交互式仿真或可视化，但不能把“会生成视频”和“能指导机器人动作”混为一谈;