Agent 与环境如何交互？
- 核心问题: 学习如何根据当前情境选择动作，以获得最大的累积奖励（Cumulative Reward）;
- 循环: 每一步 Agent 观察当前状态 → 选择一个动作 → 环境产生新状态并给出奖励;
- 轨迹（Trajectory）: “状态 → 动作 → 奖励 → 新状态 → 动作 → 奖励 …”的完整记录，策略的优劣最终体现在轨迹质量上;
- 价值函数（Value Function）: 回答“如果现在处于这个状态，按当前策略一直行动下去，最终总共能获得多少奖励”;
- 类比: 经验丰富的棋手看到一个局面时，不必算到最后一步也能凭直觉估计胜率;
- 边界原则: 凡是 Agent 无法任意改变的，都属于环境;
- 累积形式: 各步奖励按折扣因子逐步折扣后的总和 ∑tγtrt;
RL 与监督学习、无监督学习的区别是什么？
- 试错搜索: Agent 必须自己摸索哪些动作好，没有老师直接告诉正确答案;
- 延迟奖励: 动作的影响可能在多步之后才显现，比如一步好棋的价值要到终局才看得出来;
- 探索与利用权衡（Exploration-Exploitation Tradeoff）: 一直走熟悉的路学不到新东西，一直乱试永远到不了终点;
RL 系统有哪五个核心要素？
- 动作空间: Agent 可以采取的所有行动集合，可以离散（棋类“走哪一步”）或连续（机器人“关节转多少度”）;
- 策略: 行为准则，规定给定状态下应该怎么做；可以是一张查找表，也可以是一个深度神经网络;
- 奖励信号: 环境给出的即时反馈；Agent 的目标是最大化长期而非即时奖励——就像投资不能只看今天涨跌;
- 价值函数: 估计从某状态出发的未来累积奖励，帮助在没有即时反馈时做出明智决策；价值估计的核心地位是过去六十年 RL 研究最重要的认识之一;
- 环境模型（可选）: 预测环境对动作的响应；有环境模型的方法先学会预测环境怎么变化再据此规划（基于模型），没有的则直接从经验中学习（无模型）;
不同类型 Agent 的要素有什么差异？
| Agent 类型 | 环境 | 动作空间 | 奖励信号 |
|---|
| 新生小羚羊 | 地形、重力、身体姿态 | 连续高维（各肌肉群收缩） | 平衡(+)、跌倒(-) |
| 扫地机器人 | 房间布局、电量 | 离散（方向、吸尘、充电） | 清洁面积(+)、电量耗尽(-) |
| 国际象棋大师 | 棋盘状态、时间限制 | 离散有限（合法走法） | 赢棋(+1)、输棋(-1) |
| 客户服务 Agent | 对话历史、知识库 | 变长组合式（思考、说话、API 调用） | 问题解决(+)、处理时间(-) |
| 代码助手 Agent | 需求文档、代码库 | 变长组合式（思考、搜索、编辑、执行） | 测试通过(+)、引入 bug(-) |
- 观察: 棋类、Atari 等典型环境使用预定义的有限离散原始动作，机器人控制使用维度和物理边界确定的连续动作;
- LLM Agent 的特殊性: 用有限的 token 和工具调用组合出变长动作序列，很难一次性枚举所有可能序列，并且可以利用“内部思考”提升能力，见LLM 的变长动作与先验;
MDP 与马尔可夫性质是什么？
- MDP（Markov Decision Process，马尔可夫决策过程）: 强化学习的数学框架，定义了状态、动作、奖励等核心要素;
- 马尔可夫性质: 未来只取决于当前状态，而当前状态必须包含决策所需的全部历史信息;
- 示例: 国际象棋的状态不仅包括棋子位置，还应包括轮到哪方、王车易位权、吃过路兵权，以及五十步规则和重复局面判定所需的信息;
- 做法: 状态定义充分时无需每次重读完整棋谱；若观测没有包含必要历史，则应把历史纳入状态，或使用部分可观测模型;
- 表达力: MDP 本身可以表示有限、无限、离散或连续的动作空间;
- 算法差异: 有限离散动作便于逐一评估候选，状态与动作数足够小时表格 Q-learning 可以直接存储价值；连续动作 MDP 不能枚举所有动作，通常使用策略梯度或 actor-critic 等方法近似策略与价值函数;
- 另一个差异: 经典示例没有预训练知识，只从试错开始学习;
Q-learning 与贝尔曼方程在说什么？
- 问题: 在状态 s 下采取动作 a，之后一直按最优策略行动，总共能拿到多少奖励？;
- 直觉: 一个动作好不好，取决于它带来的即时回报，再加上“它把你带到的下一个状态有多好”;
- 贝尔曼方程: Q∗(s,a)=r+γmaxa′Q∗(s′,a′)——一个动作的真实价值 = 这一步拿到的即时奖励 + 到达下一个状态后能拿到的最大未来价值;
- 随机环境: 上面的直觉写成确定性形式，随机环境下需要对下一个状态 s′ 取期望;
- 折扣因子 γ∈[0,1): 越接近 1 越重视长期回报，越接近 0 越只顾眼前;
- 时序差分学习（Temporal-Difference Learning, TD Learning）: 每次行动后把旧的估计值往“实际发生的结果”方向微调一点，经过成千上万次试错，估计值逐渐逼近真实值;
Q-learning 属于哪一类学习方法？
- 离轨策略（Off-Policy）: 可以用不同于目标策略的探索策略所生成的数据来学习最优策略;
- 前提条件: 仍要求充分覆盖相关状态—动作对，并满足适当的学习率与收敛条件；它不是对任意数据分布都能自动收敛;
- 与 LLM 后训练的对应关系见On-Policy 与数值失配;
无先验知识的表格 Q-learning 实验说明了什么？
- 环境: 寻宝游戏，含隐藏机制（钥匙与门的对应关系、武器效果、物品合成规则）、多步依赖（最优解 11 步）与稀疏奖励（只有关键动作和最终胜利才有显著奖励）;
- 配置: 标准参数配置 + ε-贪婪探索策略（大部分时间选当前最优动作，偶尔随机尝试，并随训练推进减少随机探索）;
- 学习曲线: 前 1000 episodes 胜率 0%、Q 表仅 124 个状态；前 5000 episodes 仍无稳定胜利；7000–8000 episodes 胜率从 34% 升到 96%；10000 episodes 达到 100% 胜率并找到 11 步最优解;
- 代价: 整个训练不到 10 秒，但需要将近 10000 次完整尝试;
- 真实世界的反差: 每次打电话有成本、每次操作浏览器有延迟、每次错误决策可能造成不可逆后果，10000 次试错完全不可接受;
- 使用预训练 LLM 策略的原因之一: 利用已有知识，在更少的环境交互中做出有效决策;
- 三项局限: 简单任务也需要大量交互（样本效率低）；一个环境中的表格值难以直接迁移到另一个环境；每个新任务都要重新探索;
- 澄清: 这些不是 MDP 数学框架本身的限制——函数近似、迁移学习与基于模型的 RL 可以处理更复杂的状态和知识迁移，不过与预训练 LLM 相比仍可能需要大量环境交互;