仿真环境与评估环境的区别是什么？
- 定位: 当目标从 “评估现有能力” 扩展到 “培养新能力” 时，评估环境就需要演化成仿真环境——一个能让 Agent 反复练习、自动打分的虚拟操场;
- 区别一 频率: 交互频率高得多，训练需要数百万次 episode，而评估只需数千次;
- 区别二 随机化: 需要随机化，防止死记硬背特定配置;
- 区别三 反馈: 必须提供即时反馈;
- 分类: 从应用领域看分为数字环境（信息处理任务）与具身环境（物理世界感知与操作）两大类;
评估资产如何转化为训练信号？
- 无缝转化: 一套定义清晰的 Rubric 或验证器，本质上就是一个可验证奖励（RLVR，Reinforcement Learning with Verifiable Rewards）的奖励函数;
- 等价关系: 验证脚本直接就是奖励脚本，测试是否通过、状态是否达标，既是评估的判据，也是强化学习的回报;
- 新要求一 reset 语义: 一个 episode 即一次从初始状态到任务结束的完整交互回合；每个 episode 都必须能把环境重置到一个确定、干净的初始状态，否则梯度信号会被上一轮的残留状态污染;
- 新要求二 吞吐: 评估几千次就够出结论，训练则要在可接受的墙钟时间内喂给模型上百万次交互，环境的并行度和单实例开销直接决定训练是否可行;
数字仿真环境的代表实现是什么？
- AWorld: 为 GAIA 任务构建可控的 MCP 服务器沙盒，提供 26 个 MCP 服务器、涵盖 126 个工具函数，避免直接访问真实 API 带来的封禁和不可控副作用;
- 可审计性: 所有工具调用可重放、可审计;
- 性能: 分布式架构将传统串行执行的 7695 秒缩短到 525 秒，即 14.6 倍加速;
- 并行前提: 环境的无状态设计使每个实例完全独立，支持高效并行;
具身仿真环境的代表实现是什么？
- RoboTwin2: 基于物理引擎构建双臂操作任务，随机化物体位置、朝向和外观以提升泛化能力;
- 观测与动作: 观测空间包括多相机视觉与关节状态（三视角 RGB + 14 维关节状态），动作空间为 14 维控制向量;
- 实时控制: 通过动作分块（Action Chunking）——模型一次规划多个连续动作——实现，详见第六章;
- OSWorld 与 AndroidWorld: 前者通过虚拟机快照实现可重置性，后者聚焦移动应用自动化;
- 共用机制: 无论数字环境还是具身环境，都需要隔离执行环境与虚拟身份机制（VM/容器隔离、住宅代理、Human-in-the-Loop 认证、共享文件系统）;
保真度权衡与领域随机化如何处理？
- 权衡: 高保真环境能更好地迁移到真实世界，但计算开销大;
- 随机化维度: 保真度的另一维度是随机化程度——适度随机化能提升泛化能力，过度随机化则会让任务变得过于困难;
- 领域随机化（Domain Randomization）: 在物理参数、视觉外观、传感器噪声等方面引入大范围随机变化，是缩小仿真与现实差距（sim-to-real gap）的关键技术;
- 类比: 好比在各种光照和角度下都练习过抓取，到了真实环境也不会因为光线变化就失手;
- 数字环境中的 sim-to-real: 表现为界面渲染、响应时间等方面的差异，可通过引入延迟和失败的随机化来缓解;