双循环与可长期运行的进化闭环

为什么在线执行与离线进化必须分开？

循环	职责	禁止
在线执行循环	完成任务并记录证据	不直接改写正式 Agent
离线进化循环	聚合轨迹、诊断根因、生成更新提案、通过验证门槛发布新版本	不接触真实任务的实时状态

• 连接方式: 两者通过版本化的经验库和评估集连接;
• 意义: 四种更新方式只有进入同一个自主循环，才会从单次优化变成持续进化;

Voyager 提供了什么样的完整循环？

• 环境: Minecraft;
• 循环: 根据当前能力选择新目标 → 通过环境反馈迭代程序 → 验证成功后把代码存入技能库 → 组合旧技能解决更难任务;
• 缺一不可: 自动课程、可执行技能和环境验证三者不可缺一;
• 迁移性: 现实 Agent 的知识、Prompt、工具和参数虽然更复杂，基本学习过程类似;

Voyager 的三个机制各解决什么缺口？

机制	补上的缺口	工作方式
自动课程生成器	只有技能库而没有课程，Agent 不知道下一步学什么	根据当前物品、环境和已掌握技能提出下一个难度适中的目标，使探索不是随机漫游
技能库	只有探索而没有持久化，每次任务仍要从头开始	把成功程序保存为可检索、可组合的代码，高级采集技能可以调用移动和制作等基础技能
迭代提示机制	只有自我反思而没有环境验证，技能库会积累错误	把环境观察、执行错误和自验证结果带回下一轮代码生成，直到任务真正通过

为什么自我进化必须遵循发现循环？

• 发现循环: 假设、实验、评估、反馈;
• 来源: 这是数百年来逐渐形成的科学方法;
• 反面: 不遵循科学方法的自我进化容易自说自话、自我感觉良好;
• Discovery Loop 把发现循环推向自动化——提出实验、实现实验、开展评估、取得结果，再把结果交给下一轮;
• 定位: 这本质上就是 Agent 自我进化在科学领域的应用;