有哪些公开的记忆基准？
- LoCoMo（Long-term Conversational Memory，长期对话记忆）: 构造平均约 300 轮、最多 35 个会话的超长多轮对话;
- 三类任务: 问答（细分为单跳、多跳、时间推理、开放域、对抗性问题）、事件摘要、多模态对话生成;
- 考察目标: 模型对长程对话的记忆与理解能力;
- 作用: 为“什么样的记忆系统算好”提供公开标尺;
用户记忆能力可归纳为哪八项？
- 个人信息保留: 记住用户身份等长期个人信息;
- 偏好追踪: 跟踪并记住用户的长期偏好;
- 上下文切换: 在多个话题之间切换时保持连贯;
- 记忆更新: 用户提供与旧信息矛盾的新信息时能正确处理;
- 多会话连续性: 跨会话保持知识;
- 复杂思考: 基于多个记忆片段联合思考——如用户对花生过敏时，推荐泰国菜应主动提醒注意花生成分;
- 时间感知: 记住日期、理解相对时间、进行时间计算;
- 冲突解决: 识别并处理记忆之间的不一致;
- 口径声明: 这是综合 LoCoMo 等基准与商业记忆产品实践后的归纳，而非某一基准的原始分类;
三层次评估框架是什么？
- 第一层 基础回忆: 准确存储和检索用户直接提供的、结构化的、无歧义的信息（“我的会员号是 12345”），是后续能力的基础;
- 第二层 多会话检索: 面对来自不同对象、不同时期的多段会话时，检索出所有相关信息并推理判断;
- 第二层例子: 拥有两辆车的用户要求“为我的车预约保养”，系统需找出两辆车的全部信息并主动询问为哪辆服务，而非随便猜一辆;
- 第二层例子: 询问贷款状态时需分辨正在履行的有效合同，忽略过去咨询但未生效的报价;
- 第二层例子: 取消“洛杉矶之旅”时需理解旅行是复合事件，主动关联所有相关预订（机票与酒店）;
- 第三层 主动服务: 综合来自多个会话、甚至很久以前的信息，提供具有预见性的主动帮助，从看似无关的记忆中发现深层联系;
- 第三层例子: 订国际航班时主动关联数月前存储的护照信息，发现即将过期并预警;
- 第三层例子: 手机损坏时主动整合手机自带保修、信用卡附加保修条款与运营商保险，给出完整方案清单;
- 第三层例子: 报税季主动从过去一年的记录中搜寻并整合股票销售、自由职业收入、房产税等税务文件;
- 要求: 在没有明确指令的情况下主动规避潜在问题、整合复杂信息——这是“助理”水准的标准;
评估集如何构造与判分？
- 规模: 每层各 20 个测试用例，每个用例包含大量事实细节;
- 会话结构: 第一层用例通常由单个会话构成；第二、三层由跨时间、跨对象的多段会话构成（每例合计约 50 轮沟通）;
- 流程: Agent 根据第一个会话生成记忆，再根据记忆与下一个会话修改记忆，且只能访问记忆、不可回看之前的原始对话，直到所有会话处理完毕;
- 提问: 记忆生成完毕后，要求 Agent 根据记忆回答一个新的用户问题;
- 判分: 用 LLM-as-a-judge 把回答与参考答案对比，得到该用例的奖励得分;
- 实现: 评估集与评估脚本收录在配套仓库
user-memory 项目中;
这套标尺在后续如何被复用？
- 用途: 衡量检索技术对记忆能力的逐层提升，见 智能体化 RAG 与 上下文感知检索;
- 观察: 基础回忆靠可靠的存取即可满足，多会话检索靠检索技术补齐，主动服务最难——它要求同时握有全局概览与精确细节;