LLM 给 Agent 的动作表示带来了什么变化？
- 澄清: 经典 RL 也可以把内部计算或信息收集建模为状态与动作，所以 LLM 的实用变化不是第一次允许“思考”;
- 实用变化: 预训练语言策略能够用变长 token 序列表示内部计算，并与外部行动由同一策略生成;
- 结果: Agent 的动作表示不仅包括“做什么”，还包括“想多久、想什么”;
- 核心创新: 把思考 token 作为特殊动作纳入策略输出空间;
- 思考 token 的性质: 不直接改变外部环境，也不立即获得环境奖励，但能在 token 成本和上下文上限内表达多种计算路径;
- 对比: 典型传统 RL 环境主要使用移动、攻击、拾取等改变环境状态的原始动作;
为什么组合式动作必须依赖先验知识？
- 搜索空间: 变长组合式动作比原始动作拥有大得多的搜索空间，很难在没有先验知识时从零学习;
- 类比: 从零开始的 Agent 就像蒙着眼睛在沙漠里找宝藏;
- 预训练先验: LLM 从海量文本预训练中学到了人类留下的问题解决模式——数学问题常按“识别条件 → 回忆公式 → 逐步计算”，编程任务常按“理解需求 → 设计结构 → 实现细节”展开;
- 效果: 预训练策略给结构化路径更高的先验概率，显著压缩搜索空间，因此即使没有额外 RL，预训练 LLM 也能生成基本的思维链（Chain of Thought, CoT）;
- 来源: 这些模式来自数学解题、代码注释、讨论回应等预训练语料，模型通过预测下一个 token 隐式学会“下一步思考应该长什么样”;
- 定位: 语言结构不是单独的“内部奖励”，而是预训练策略的先验分布（Prior）——训练数据中一致出现的推理路径初始生成概率更高，无关路径概率较低;
- RL 的作用: 在这个初始分布上用真实任务奖励重新调整各条路径的概率;
- 泛化能力: 预训练语言策略使 LLM Agent 能够理解未见过的指令（零样本泛化），并用少量示范适应新任务（少样本适应）;
动作表示扩展带来了什么机会与挑战？
- 机会: 内部思考、自然语言查询、程序代码、复杂 JSON 与多模态内容可以组合成数量爆炸的变长序列，Agent 能组合基础工具处理未见任务;
- 挑战: 需要在巨大的组合空间里定义奖励并高效探索;
- 现实接口: 代码解释器和搜索工具把这种表示连接到现实环境中的广泛任务与信息;
- 模型方向: Kimi K3 这类面向工具调用和长链思考优化的模型，典型做法是在大规模语言预训练基础上，通过后训练强化问题分解、工具调用和自我纠错能力;
- VLA 澄清: OpenVLA 采用“视觉编码器 + 语言模型 + 动作解码器”架构，但本身是在近百万条机器人演示轨迹上通过模仿学习（行为克隆）训练的，属于 SFT 性质而非 RL；真正把 RL 引入这类架构的代表是 SimpleVLA-RL，见多轮任务与工具调用;
有先验与无先验的 Agent 差多少？
- 设定: 在寻宝游戏（含隐藏机制、多步依赖、最优解 11 步与稀疏奖励）中，无先验知识的表格 Q-learning 对比维护最多 50 条经验缓冲区的 LLM Agent;
- 结果: LLM Agent 第一局就在 18 步内通关;
- 前期特征（有目的的探索）: 拿起生锈的剑（“武器总比空手好”），系统探索地图，发现北门被锁后推理“需要找钥匙”，转而探索储藏室，先后取得红钥匙与魔法水晶;
- 中期特征（机制理解与主动合成）: 理解“钥匙自动使用”规则，并预判生锈的剑不足以对付守卫，于是在第 8 步主动合成银剑;
- 后期特征（执行与纠错）: 持银剑向北，第 13 步击败强守卫，其间夹杂一两步无效尝试，最终在第 18 步取得巨龙宝藏;
- 根本差异: 语义理解与符号映射之别——“门”“钥匙”“剑”对 LLM 是有概念结构的对象，对表格 Q-learning 只是无意义的符号组合，只能靠大量统计学习慢慢发现关系;
- 成本悖论: Q-learning 跑 10000 局只需 10 秒，LLM Agent 一局要 1–2 分钟；但现实任务中每次交互的时间、金钱和风险成本远超纯计算成本，单看 GPU 时间并不公平;
- 最关键洞察: LLM Agent 的成功不是因为拥有更好的“学习算法”，而是因为携带了海量先验知识;
- 设计原则: 仿真成本低、可大量重复的场景中传统 RL 仍有价值；交互成本高、需快速适应的现实场景中 LLM Agent 的样本效率更实际;
训练范式的认知经历了哪三个阶段？
- 来源: 以下阶段划分来自对 OpenAI 探索之路的回顾（《The Second Half》）;
- 第一阶段（2015–2016）算法中心主义: 相信更好的算法才是关键，在 Atari 等标准环境取得进展，但换一个新环境就得从头训练;
- 第二阶段（2016–2018）环境的重要性: Gym 标准化了各类任务，Universe 与 World of Bits 试图把整个互联网变成 RL 的训练环境，Dota 2 在特定复杂环境中追求超人表现；但通用计算机使用和网页导航始终无法突破;
- 第三阶段（2018 至今）先验的觉醒: GPT-2/GPT-3 展示了语言预训练的强大力量，WebGPT 与 ChatGPT 证明这些先验知识可以转化为实用 Agent;
- 最重要的发现: 先验知识可以通过与 RL 完全无关的方式获得;
- 优先级反转: 几十年 RL 研究者的优先级可能完全颠倒了——不是“算法 > 环境 > 先验”，而是“先验 > 环境 > 算法”;