模拟稳定为什么推不出真机成功？
- 不能外推: 模拟器里表现稳定，不等于同一任务在真实硬件上会同样成功;
- 迁移的实质: 从仿真走到真实不是再换一种控制器，而是处理两个环境之间的差异;
- 训练数据来源: 遥操作数据、视频数据或仿真交互数据;
- 部署现实: 同一个红色杯子、黄色废纸、托盘和垃圾盒会出现在不同的背景、光照、相机位置与遮挡关系中，机械臂还会遇到不同的摩擦、传感器噪声与执行器延迟;
- 后果: 只要这些差异足够大，模拟中学到的动作就可能在现实中失效;
两个环境之间的差异体现在哪些方面？
| 差异维度 | 仿真侧 | 真实侧 |
|---|
| 视觉 | 固定背景、固定物体外观、理想光照 | 背景、光照、相机位置、遮挡关系变化 |
| 物理 | 理想化的接触与摩擦 | 摩擦差异、接触不确定性 |
| 传感 | 无噪声或可控噪声 | 传感器噪声、相机标定误差 |
| 执行 | 即时、精确的动作执行 | 执行器延迟、机械误差与故障 |
- 建模取舍: 这些差异不会在同一个实验里全部出现，实验设计要明确只改哪一维;
训练时扩大画面变化范围有用吗？
- 问题设置: 把每个样本理解为整理桌面中的一个局部决策——根据 RGB 画面判断应该向哪个方向接近物体，或是否已经可以抓取;
- 四种策略: 结构相同的视觉策略分别只看固定画面、只改变背景、只改变物体外观、同时改变背景、外观、光照与噪声;
- 测试方式: 所有策略都在原始环境与变化后的新环境中测试，比较视觉条件变化前后的动作判断准确率;
- 观察结论: 训练时主动扩大画面变化范围，有助于同一个“杯子—托盘、废纸—垃圾盒”任务适应新的摄像头画面;
- 问题边界: 实验要回答的不是“模拟器是否已经等于 XLeRobot 真机”，而是一个更窄的问题——画面变化范围的扩大能否迁移;
从仿真到真实还需要哪些工程步骤？
- 相机: 需要真实相机标定，而不是沿用仿真中的相机参数;
- 执行器: 需要执行器测试，覆盖摩擦、噪声与延迟带来的偏差;
- 安全: 需要完整的安全闭环，包括限速、急停与状态确认;
- 验收: 最终是否完成任务必须由新的真实观察确认;
- 定位: 跨环境迁移解决的是训练画面与真实摄像头、执行器之间的差异，动作分块与世界模型的配合分别见 VLA 控制与局限 与 世界模型与动作预测;