文章摘要
人们常说,人生很多事回头看才明白,可日子只能往前过。这份感慨放在AI领域,却成了实实在在的工程难题。Anthropic团队针对Claude大模型的记忆系统展开研究,得出一个反直觉的核心结论:想让AI拥

人们常说,人生很多事回头看才明白,可日子只能往前过。这份感慨放在AI领域,却成了实实在在的工程难题。Anthropic团队针对Claude大模型的记忆系统展开研究,得出一个反直觉的核心结论:想让AI拥有良好的记忆能力,仅靠“记笔记”是不够的,还需要让它学会“做梦”。

从人类的记忆机制来看,海马体负责在当下捕捉经历,形成即时记忆,但并非所有经历都会成为长期知识——只有经过“巩固”的部分才会留存。而巩固过程大多发生在大脑“离线”时,比如睡眠或休息状态,海马体会回放近期经历,将其提炼整合到新皮层的长期记忆仓库中。

智能体的记忆系统也可以遵循类似的分工逻辑。AI在运行时会产生大量日志和对话记录,这相当于海马体的即时捕捉;而学界提出的“睡眠时计算”概念,则对应AI的“做梦”过程——在交互间隙的空闲时间里,模型会重新组织已有上下文,反思日志、修正错误、产出新的记忆笔记。Anthropic的研究证实,“做梦”是为Claude打造有效记忆的关键工具。

首先需要明确“智能体记忆”的范畴:Anthropic定义的智能体记忆,特指Claude从自身经验中积累的知识,包括与用户的交互、被分配的任务,以及不同会话间保留的信息。而训练时调整的内部权重、单次对话内的学习内容、将旧对话压缩为摘要的操作,都不属于这一范畴。

记忆的第一层是“随手记笔记”,类似人类大脑对重要经历打标记的机制。Claude可以在会话日志中为关键事件打标签,方便后续检索,也可以将重要信息存入专门的记忆文件夹。但这里存在一个问题:在事件发生的当下,Claude无法提前判断哪些内容值得记录——毕竟它还不知道后续会发生什么。

记忆本质上是一种对未来的预测:写下一条规则,等于预测该模式未来会再次用到;记下一条验证过的事实,等于预测未来会直接使用而无需二次核对。Anthropic通过Continual Learning Bench(CL-Bench)实验验证了Claude在这方面的进步。该实验考察智能体利用记忆完成长程任务的能力,其中一个任务是:Claude需要查询数据库回答一系列问题,回答后会收到正确答案,此时它可以创建一条记忆,用于后续答题。实验形成了完整的学习闭环:答错后记录失败、提出假设、验证假设、形成答题规则。不同模型的表现差异显著:Sonnet 4.6仅停留在提出假设阶段,记忆目录中是零散的未验证猜测;Opus 4.7将笔记整理为参考文档,标注已确认和未确认的内容;Sonnet 5会在评分后标记答案为“已确认”,答错则更新笔记;Opus 5是首个形成闭环的模型,多数条目包含规则、答案和错误提示;到Opus 5.5和Sonnet 5.5时,两者均完成闭环,利用记忆沉淀验证后的答题规则,得分与Opus 5相当,且无需记忆的基线得分本身略高。

另一项实验聚焦Claude玩《宝可梦·红》的表现,考验它判断“该记录什么到记忆中”的能力。Sonnet 3.7的策略是“所有信息都有用”,因此每场战斗、每个道具、每个NPC都单独记录,最终生成大量文件,却只拿到1枚徽章;而Fable 5仅用少量文件,就拿到了4枚徽章。Sonnet 3.7的问题在于,游戏状态不断变化,详细记录很快失效,它花费大量时间检索记忆,反而减少了游戏操作,甚至在后期停止游戏建文件夹;Fable 5则只记录游戏不直接提供的信息,比如策略、计划和验证过的规则,比如“连续3个精灵球失败后,调整按键节奏”,这一思路让它的游戏进度远超前者。类似地,Opus 5.5也采用了简洁的记忆笔记,追踪目标和下一步操作,最终完成了游戏通关。

Anthropic发现,指导Claude记忆的关键是“明确记忆的作用”,而非规定具体用法。在CL-Bench实验中,仅告知Claude“可以使用记忆文件夹”,就足以让Opus 4.7和Opus 5的性能明显提升。如果强行规定规则,比如“只记录失败”,反而会削弱记忆的增益效果——对更强的模型来说,自主判断重要性比预设规则更有效,规则不当反而会拖后腿。对于较老的模型,引导的作用更明显:Sonnet 4.6经常不读取记忆文件,提示它“答题前先读记忆并验证假设”后,基准得分几乎翻倍;而Sonnet 5无需提示,九成情况会主动读取记忆。因此,当前对前沿Claude模型的做法是,仅提供简单指引,由模型自主判断何时记录。

“做梦”的第一个作用是纠正错误记忆。Claude的记忆笔记基于会话当下的判断,可能出现错误或随环境变化而失效,而“做梦”过程可以将笔记与原始记录对照检验。在宝可梦实验中,Claude曾错误记录宝可梦中心的位置,导致多次掉入陷阱,无法到达华蓝市;而通过“做梦”流程,它将错误笔记与会话记录对照,修正了位置信息,最终成功返回月见山并抵达目标地点。

“做梦”还能帮助Claude搭建新的记忆形态,比如类似百科全书的“wiki”结构——由Claude撰写和维护的页面,将相关知识整合并建立链接,形成知识地图,方便高效定位记忆。研究人员利用约35万份内部文档进行实验,让Claude基于这些文档,通过“做梦”构建wiki。随着会话规模从2个扩展到128个,25道题的评分达标率从13%提升至48%。Claude构建wiki是渐进式的:先有初版,再通过多次“做梦”增补、编辑、修剪,知识地图逐渐丰富。实验发现,搜索工具搭配wiki效果最佳,总分从54%提升至61%,且每道题可节省约2万个token。不过,wiki并非万能:在部分任务中,评分点可直接在单一文件中找到,wiki无明显增益;还有任务中,wiki规模远超原始文件,失去了抽象价值。

“做梦”还能将重要笔记推到记忆层级顶端,在每次会话开始时预先加载到上下文,无需额外检索。但将记忆注入新会话需要谨慎:注入的记忆占用token,错误笔记会影响所有会话,且加载的记忆不一定会被遵循。因此,记忆层级顶端需要保持精简,“做梦”的重要工作之一就是维持精简,将细节移到下层,仅保留链接。类似Claude Code的自动记忆,仅加载前200行或25KB的索引部分,告知模型可检索的内容。

“做梦”还能塑造记忆的生长方向,使其围绕特定目标组织。比如,助手类工具的记忆围绕被帮助者组织更有效,可将“做梦”调整为“为特定目标服务”的模式。在模拟公司收购的任务中,最初的wiki指令不完善,导致多个智能体共享合同条款表,总结不全且遗漏条款,生成的简报仅覆盖72%的评分事实;通过反思失败、修改指令、重建wiki的循环,最终每份合同由单个智能体撰写,条款逐字引用,简报评分覆盖率提升至100%。

“做梦”还能填补会话留下的缺口。Claude的记忆笔记仅基于单个会话的上下文,而“做梦”可跨多个会话检索,发现共性模式、纠正共性错误。在wiki构建实验中,“做梦”发现九个指向不存在页面的链接,将其重定向到现有页面,并新增三个页面,完善了wiki的结构。

关于智能体记忆系统的设计,仍有许多开放问题。首先是何时创建记忆:边运行边记录能抓住“重要”信息,但会分散注意力;“做梦”在后台处理,但产出不一定能立即使用。其次是如何让记忆可靠保鲜:模型可能做出错误预测,记忆会随环境变化失效,“做梦”是修正手段之一,但需要算力,如何平衡是挑战。此外,表征(如wiki)加搜索的模式有效,但维护需要算力,还需避免错误和幻觉。即便模型判断重要性的能力提升,也无法预知未来,“做梦”提供了整理记忆、修正错误的机会,记忆系统会随模型能力进化,相关设计仍在探索中。

以上内容不代表本平台立场,仅供读者参考