跳到主要内容

小世界假设与大世界假设

第二朵乌云争的是什么问题?​

  • 问题: Agent 能否从与环境交互的成败中持续积累经验,是两朵乌云中的第二朵;
  • 分歧点: 这个能力是必需的系统设计,还是会被更大的模型与更多的数据自动解决;
  • 两种答案: 小世界假设认为“训练一次就够”,大世界假设认为必须“上岗之后持续学习”;
  • 影响面: 答案决定了记忆系统、持续进化与后训练在系统中的位置;

小世界假设主张什么?​

  • 主张: 一个足够大的模型——比如几万亿参数——本就装得下物理世界里几乎所有重要的通用知识,学一次就够;
  • 持论者: 提出这类看法的研究者中不乏 OpenAI、Anthropic 等前沿实验室的成员;
  • 编程例证: AI 今天唯独在编程上最强,并不是因为代码对模型有什么特殊,而是因为编程是人类最开放的领域,海量开源代码可供学习;
  • 对照: 绝大多数行业压根没有公开的信息与数据;
  • 对应做法: 前沿实验室一家家去与各行各业合作,把各自的专业能力“蒸馏”进同一个大模型;
  • 瓶颈判断: 瓶颈既不在模型的容量,也不在它学不学得会,而在数据够不够——把数据喂进去、训练一次,问题就解决了;

大世界假设补上了哪一层?​

  • 主张: 单靠“训练一次”补不上属于某个具体用户、某家具体公司的知识;
  • 例子: 特定公司的代码规范、做 PPT 的口味、某个客户特有的脾气;
  • 特征一: 这些知识不在任何训练语料里;
  • 特征二: 它们时时在变;
  • 结论: 要贴合这个由无数具体情境拼成的“大世界”,模型只能在上岗之后持续学习,没法指望出厂时一次配齐;
  • 书中立场: 大世界假设指向了单靠“训练一次”补不上的那一层,因而“上岗后持续学习”是必要方向;

两种假设对应哪些不同的工程方向?​

维度小世界假设大世界假设
知识位置通用知识在模型参数之内具体情境知识在用户与组织现场
学习时机出厂前训练一次上岗后持续学习
主要瓶颈数据供给(行业数据的公开程度)持续学习机制本身
典型手段扩大训练数据、行业能力蒸馏记忆系统、经验回流与受控更新
记录载体参数知识文档、指令或程序,或筛选后更新参数
  • 载体取舍: 把经验写成知识文档、指令或程序,还是经过筛选后更新模型参数,取决于能力的维度与可控性要求;
  • 与第一章的关系: 这两类手段对应任务内外两种不同时间尺度的更新,见Agent 的三条学习路径;

“模型最强的能力终将是学习”意味着什么?​

  • 推动力一: “RSI”(递归自我进化)把 Agent 推到没有现成答案的前沿;
  • 推动力二: “AI for Science”同样要求 Agent 自主探索未知问题;
  • 在这些前沿: Agent 只能从一次次实验的成败中自主学习,而不是事事回头问人;
  • 结论: 模型最强的能力,终将不是记住,而是学习与适应;
  • 联系: 这也解释了为什么自举能力是关键,见智能体的自举与宇宙演化;