机器人控制分层与任务分解
机器人系统为什么要把工作拆成多个时间尺度？
| 层级 | 核心问题 | 输出 | 典型时间尺度 |
|---|---|---|---|
| 任务目标 | 人想完成什么 | “把杯子和废纸归位” | 分钟级 |
| 长程规划 | 先做什么、后做什么 | 先处理杯子，再处理废纸，最后检查 | 秒到分钟 |
| 基本技能 | 当前要完成哪个状态变化 | pick(red_cup)、place(red_cup, tray) | 约 1—3 秒 |
| VLA / 技能策略 | 这个技能具体怎么动 | 夹爪的一小段动作或连续轨迹 | 约 1—10 Hz 推理 |
| 底层控制与安全层 | 如何稳定、及时地执行 | 关节或末端控制量、限速与急停 | 约 50—1000 Hz |
- 性质: 这是常见的工程分工，不是唯一的模型架构;
- 灵活性: VLA 可承担一部分高层判断，规划器也可以是规则程序、VLM 或优化器;
- 分离原则: 必须把“任务顺序”与“眼前动作”分开，否则高层模型的推理延迟会拖慢底层控制，底层高频控制也会让高层模型淹没在无关细节中;
- 技能边界: 模型不应直接输出任意关节角，只选择
pick、place、verify_state、stop等有边界的技能，经标定、限速并带超时的执行器再变成真实机械臂动作;
遥操作实验说明了什么？
- 观察: 成本只有几百美元的机械臂（如 XLeRobot）通过遥操作已经能完成连续多步桌面任务——人看着摄像头画面，把红色杯子放进托盘、把黄色废纸放进垃圾盒，最后重新确认状态;
- 诊断结论: 对于这个任务，硬件本体不是瓶颈，算法才是瓶颈;
- 方法: 保持摄像头、机械臂、夹爪、桌面布置和成功条件不变，先让人接管闭环;
- 人的隐含能力: 夹爪靠近杯子时减速、杯子滑动时修正抓取点、第一次没夹住纸张时重新观察、放入目标区域后检查结果，自主系统与人的差距正体现在这些闭环能力上;
- 结论边界: 该判断只说明硬件跨过了完成此任务所需的负载、精度与工作空间门槛，不意味着几百美元的机械臂能胜任所有开放环境或更高难度操作;
- 副产品: 遥操作不只是收集演示数据，也是一种“固定硬件、替换操作者”的诊断实验;
- 接口形式: XLeRobot 支持键盘、Xbox 手柄、Switch Joy-Con 与 VR 设备等遥操作入口;
长程规划如何分解“整理桌面”？
- 第一步: 把“把桌面整理干净”这样的自然语言先交给规划器，列出场景中的物体与目标，再决定先后顺序;
处理红色杯子 → 清理黄色纸张 → 检查桌面
- 第二步: 每个子任务继续拆成动作与检查，并写清开始条件、完成条件与风险限制;
pick(red_cup) → place(red_cup, tray) → verify_state()
- 检查节点: 每完成一个技能就得到一个可检查的节点;
- 失败恢复: 抓取失败只重试当前这一步;
- 重新规划: 物体被人挪动或用户改变目标时，只重新规划受影响的后续步骤，不必重做整个计划;
- 工具设计: 一次调用只做一件事、动作范围固定、有超时限制、执行后立即重新观察;
- 开放的工具集: 具身推理模型可只开放五个工具——
observe_scene、pick、place、verify_state、stop;
真机与模拟如何形成两条参考线？
- 参考线一 真机人类闭环: 在真实硬件上由人完成同一任务，是最有说服力的任务上限;
- 参考线二 模拟理想闭环: 在二维桌面模拟器中由理想控制器接近、抓取并移动物体，它不需要识别图像也不会选错动作，代表“感知和决策都正确时任务至少能做到什么”;
- 模拟实验关注: 任务成功率、完成步数、路径长度，并改变物体初始位置与任务规模观察理想上限是否稳定;
- 自主对照: 把人类操作者替换为 Agent 时，任务指令、桌面布置与成功条件完全不变，人只负责启动、急停与安全监护，不得中途代替 Agent 完成动作;
- 自主约束: 任务语义必须来自模型观察，真实动作必须来自工具调用，最终状态必须由新观察确认；模型不能仅凭自己先前说过“已经完成”就跳过真实检查;
- 验收标准: 杯子位于托盘内、废纸位于垃圾盒内、机械臂回到安全姿态，且全程无碰撞、越界或未经确认的人工代做;