AI记忆原生模型MemT 1.0发布，推进RSI自我改进
近期AI领域集体聚焦RSI相关研究，一篇由多位顶尖学者署名的论文引发广泛关注，其中包括多位AI领域核心人物，几乎覆盖了当前AI研究的核心力量。
当研究者们将目光投向AI的自我改进能力时，一个基础问题逐渐凸显：一次改进如何成为下一次迭代的起点？有效经验需要被保留，失败教训需要被识别，而承担这一承接作用的，正是模型的记忆能力。
传统的解决方案是为AI外接独立的经验库，将操作方法、历史教训等内容统一保存并检索。但另一种思路“记忆原生”，则给出了完全不同的方向——将经验的保留、更新和调用内化为模型自身可学习的能力，而非依赖外部存储。
当记忆机制融入模型内部，便形成了记忆原生模型。最新开源的MemT 1.0系列，正是这一思路的具体落地：它将经验编码为模型内部的动态状态，通过训练学习如何写入、更新和读取这些状态，最终让这些状态通过专门的记忆分支参与后续计算。与外部记忆方案相比，它不仅在能力表现上不逊色，未来拓展的空间也更为广阔。这也是记忆原生模型首次实现近3000亿参数规模的工程验证。
本次发布的MemT 1.0包含两款核心型号：MemT-1.0-Nano拥有360亿参数，激活30亿参数，基于“源神”Qwen3.6-35B-A3B基座开发；MemT-1.0-Flash则进一步提升规模，参数达2880亿，激活170亿，基于经过后训练优化的DeepSeek-V4-Flash基座。两款模型的共同特点是，在选定的Transformer模块中新增了一条与原有注意力机制并行的记忆计算通路。
对于新任务，外部记忆方案的做法是将记忆原文、检索证据乃至抽象方法直接融入模型上下文，供模型复用经验，其中检索与整理过程也可引入学习机制。而记忆原生模型则深入到模型内部：经验被编码为可更新的矩阵状态，模型生成答案或动作时，通过专门的记忆分支读取这些状态，再将读取结果与原有注意力输出融合，从而影响后续生成过程。二者的核心区别在于经验的表示方式，以及经验发挥作用的计算路径。
这种方案的优势在于，将记忆的读写过程融入训练，能实现更顺畅的经验复用；但也存在不足：若需要精确删除、解释或恢复记忆内容，需要额外的机制支持。相比之下，外部文本形式的记忆更便于检查和溯源，因此两种方案各有优劣。
要直观感受两种方案的差异，可从实际任务场景观察。以代码修改为例，常规流程是发现Bug、定位代码、动手修改，但如果初始问题未复现、边界条件未确认，很容易导致修改后漏洞反而增多。在相关基准测试中，研究团队对比了无经验、文本经验和记忆原生三种设置下的模型表现。
无经验时，模型找到Bug后会快速修改解析逻辑，后续才进行复现与验证；而有经验的两组模型都会先构建复现测试，再修改代码。其中，记忆原生模型MemT-1.0-Nano在初次修改后还会重新检查边界条件，修正实现并做额外验证。
在500项相关任务的测试中，MemT-1.0-Nano在关键断点的平均成功率为69.73%，无经验基线为66.07%，文本经验组为69.13%；三次全部成功的任务比例，从无经验的54%提升到62.8%，文本经验组为61.8%。在另一项多语言任务中，记忆原生组的平均成功率为63.56%，无经验组为60%，文本经验组为63%。这些结果表明，记忆原生方案的表现与显式文本经验接近，优势主要体现在平均成功率和重复执行的可靠性上。
另一个直观的场景是迷宫探索演示。相同的迷宫和移动速度下，无记忆原生的模型和具备记忆原生的MemT 1.0表现不同。第一轮探索时，两者都需要探索未知路线，都会走进死胡同；但第一轮结束后，MemT 1.0会将成功路线和需避开的岔路整理归档，加载到自身记忆中供后续参考。第二轮探索时，无记忆的模型仍会重复试探岔路，而MemT 1.0则能借助上一轮经验避开死胡同，沿有效路线抵达终点。这一差异正是记忆原生方案的核心价值体现。
在日常办公的信息更新场景中，记忆原生方案也展现出优势。比如展览时间多次调整：原定周六下午3点，后改为周日下午4点，又有人建议改到周一但未最终确定。这种反复变化的信息对AI来说处理难度较高，需要区分正式决定和临时建议，同时保留未变化的内容。经过多轮对话测试，MemT-1.0-Nano仍能准确回答原定时间、正式修改后的时间，并确认其他安排未变化。
在11项记忆基准的综合评估中，MemT-1.0-Flash和Nano的平均得分分别为50.6和47.0，位列参与评估的参数化记忆方法前两名，相比其他模型有明显优势。不过，文本记忆系统在长历史细节召回上仍有优势，而MemT 1.0作为记忆原生思路的初步实现，已能达到与文本记忆相当的效果，未来潜力巨大。
那么，经验没有留在任务上下文里，模型是如何应用这些经验的？这正是MemT 1.0的架构核心。MemT 1.0的原生路径是，先将相关经验编码为内部动态状态，生成后续动作时，当前查询通过专门的记忆分支读取这些状态，再将读取结果与原有注意力输出融合。
具体实现中，MemT 1.0保留了基座的原有计算流程，在选定的Transformer模块中加入原生记忆分支，该分支包含三层结构：
- 主干权重：承载模型的通用能力，训练记忆时保持冻结；
- 超记忆：可训练参数，负责记忆的编码、更新和读取；
- 局部记忆：存储交互中新加入的动态信息。
这种结构区分后，模型可携带新的经历，且无需微调整个主干，仅对应任务轨迹的动态状态发生变化。这套机制的读写过程也有特定设计：写入时，隐状态经过投影生成记忆的键值，擦除、写入和遗忘门控共同调节已有矩阵的关联；读取时，当前输入被映射为记忆查询，读出相关信息后经归一化和输出门控参与后续生成。更新机制采用基于Gated DeltaNet-2的逐Token生成，并做了稳定化处理。
消融实验验证了逐Token更新的重要性：将逐Token更新换成整轮聚合后，Nano的记忆基准平均分从约47降到了41，六分的差距说明连续的Token级更新能更好处理记忆衰减，及时修正轮内关联。
当记忆内容不断扩充，模型容量不足时，MemT 1.0依托MoE提出了MoS（Mixture-of-Storage）解决方案，将一个记忆原生模块扩展为多个记忆专家，分别学习存储与使用路由，采用稠密融合方式，所有记忆专家都参与计算，路由权重决定各自贡献，这与基座MoE的稀疏专家路由明显不同。
为让模型学会使用记忆通路，团队构建了340亿Token的记忆训练语料，其中继续预训练200亿，后训练140亿。继续预训练的格式统一，将长文本切成连续片段写入记忆，再让模型用记忆状态回答查询，每处理完一个片段更新状态供下一段使用。后训练进一步对齐任务结果，数据包含三类：记忆原生的语言建模数据、记忆存储与利用数据（如摘要、续写、压缩等），以及强化长程记忆的任务数据。
训练中还有一个关键设计：此前冻结的主干作为教师模型，可看到完整历史信息，MemT 1.0作为学生仅能看到自身记忆状态，通过off-policy蒸馏让学生对齐教师分布。综合来看，记忆原生的核心是将历史编码为状态，再通过保留、更新和读取构成完整机制，其价值需结合经验复用效果、资源开销和长期运行条件综合判断。
有人可能会问，现有外部记忆方案已成熟，记忆原生才刚起步，效果也相近，为什么要采用？记忆原生的独到之处在于，它让经验的表示与读写过程本身成为模型能力扩展的对象，即Memory Scaling，这是在推理增长之外，找到模型性能增长的第三条曲线。
传统方案中，经验的价值取决于检索后能否改善任务结果；而记忆原生方案可进一步探索：同样的经历，换一种内部表示、更新规则和读取方式，能否用得更好？这为提升记忆效果提供了一组可通过训练和架构设计调整的变量。虽然目前还无法证明原生记忆的长期上限高于外部记忆，但围绕内部状态的训练与容量扩展，已能带来能力收益，下一步需验证这些收益能否在新任务和更长交互中保持。
回到最初的RSI研究，记忆原生的打通将对持续学习和RSI的突破有重要帮助。RSI包含记忆、反馈、验证与更新机制三块，其中记忆是有效结果延续的基础，后两者负责判断哪些改变值得进入下一轮。MemT 1.0探索的正是经验承接与复用的环节，验证了经验可通过原生记忆指导行动，补上了RSI的核心基础环节。
如果后续能将局部记忆的经验沉淀到超记忆参数，改善模型管理记忆的方法，或许能实现跨任务的智能爆炸，达成RSI的终极目标。在应用侧，记忆原生也更利于企业完成经验积累。当前企业AI部署多关注早期模型表现，但长期使用中，项目规则、操作顺序和验证方法的经验积累同样重要，若每次换任务都需重新交代约束，前一次投入难以转化为后续收益。
因此，经过验证的经验复用次数应与模型单次表现一起作为企业AI选型的标准，记忆原生为此提供了模型侧的承载机制。在128K长历史下，Nano的端到端推理速度约为完整上下文方案的1.86倍，相同历史长度中，每条轨迹的持久状态占用是完整上下文KV Cache的六十六分之一，这直接带来了成本控制效果。长期会话的状态预算更易估算，多个查询可复用已构建的状态，分摊准备开销。
不过，记忆原生的任务质量不一定优于外部记忆，但在近似质量下，它能通过底层经验复用减少返工，这对企业运维是实实在在的收益。二者并非敌对关系，协作分工可产生更大价值：外部记录适合精确原文、来源或版本查询，记忆原生则适合后续执行的经验调用。无论如何，当有效进步能留下并在新任务中验证，持续自我改进才有了积累的起点。
通过分层记忆管理和调度，可实现全局读写效率最优，而记忆原生模型的发布，让这种工程化部署成为可能，记忆在推动持续自我改进中的价值也将在长期验证中逐渐显现。
