Cortex：让AI经验沉淀为可复用的参数记忆

RSI（递归自我改进）需要解决经验如何持续发挥作用的问题。受大脑记忆巩固机制启发，来自浙江大学、ByteDance Seed 和清华大学的研究者提出了Cortex，这是一种通用的经验沉淀方法。它能够将经验带来的帮助转化为可复用的长期参数记忆，同时保留模型已有的能力，为智能体的持续自我改进提供可积累的基础。

智能体接到任务后，会调用工具、查阅文档，可能借助文档掌握新API的使用方法，或避免常见操作错误。但这类经验通常只存在于当前上下文中，不会自动更新模型参数，下一次遇到类似问题时，需要重新获取相关内容，无法直接复用之前的积累。因此，需要一种机制让经验沉淀为模型的内在能力，而不是依赖外部的临时输入。

这项工作提出了Memory Consolidation（记忆巩固，MC）的核心目标：找到一种更新方式，使得模型在不再访问原始上下文时，仍能恢复该上下文带来的目标收益，同时保留学习之外的原有能力。为了量化效果，研究引入两个关键指标：巩固率CR（更新后不带上下文时获得的目标增益 ÷ 原模型带上下文时的目标增益），以及保留率RR（更新后在非目标能力上的表现 ÷ 原模型在该能力上的表现）。理想情况下，CR和RR都能达到100%，甚至更高。

Cortex的实现流程分为三个核心环节：第一是预演用途（prospective rehearsal），围绕经验生成未来可能遇到的问题和对应的回答，把经验中的信息与实际使用场景关联起来，为后续训练提供针对性的练习材料；这里的生成和“教师”都是更新前的模型，不需要引入额外的外部模型。第二是上下文蒸馏，让冻结的更新前模型作为“老师”，学生模型省去原始上下文，学习老师的输出分布和中间表示，从而将经验转化为模型的参数变化。第三是持续沉淀的复习机制，每轮更新时冻结原有参数，只训练新增参数，同时保留之前生成的练习问题，每轮用当前模型重新生成答案作为监督信号，避免新经验对旧行为的干扰。

在参数写入位置的选择上，Cortex聚焦于Transformer的前馈网络（FFN），因为FFN可被解释为键值记忆，适合承载经验沉淀。它设计了两种写入方式：Cortex-Synaptic通过类似LoRA的低秩增量调整已有投影，保留原有权重；Cortex-Structural则增加新的非线性特征通道，为新经验提供额外的表达空间。在MoE模型中，还额外设计了共享扩展分支，让每个token都经过同一组新增参数，提升新增容量的训练效率。

实验部分，研究构建了Memory Consolidation Testbed，用统一的上下文输入形式和评测要求检验任务表现。主实验结果显示，Cortex在多类任务中兼顾学习与保留：行为指导任务中恢复了约95%-100%的上下文收益，保留约99%-100%的语言流畅性；批量API学习中，Qwen2.5-14B使用Structural方式后，模型撤掉文档后的平均通过率从25.3%提升至57.4%，对应73.7%的CR和97.6%的RR；在ALFWorld任务中，GPT-OSS-120B的任务成功率从55.2%提升到97.8%，略高于直接提供上下文的效果。

连续学习实验中，完成50次更新后，Structural达到88.9%的CR和99.8%的RR，每轮仅新增约0.005%的参数，累计增加0.25%，同时能较好保留早期学到的事实。消融实验进一步验证了设计的有效性：学习输出分布和中间表示对齐都能提升效果；只更新FFN比同时更新注意力模块更有利于学习和保留；历史复习机制能显著提升旧经验的保留效果；MoE的共享扩展和较小的新增容量也能支撑高效的连续积累。

最后，讨论部分总结了参数化记忆的三个理想化特点：分布式整合，覆盖模型各层的信息处理过程；可增长容量，为持续学习留出空间；原生访问，记忆组件直接参与模型计算，让经验在推理中自然结合。同时，MC将知识编辑、技能学习等任务统一为经验巩固问题，区别于传统的持续学习和上下文蒸馏方法，更聚焦于从现有经验中组织学习材料并沉淀为模型能力。