记忆张量发布MemT 1.0 大模型迈入记忆原生时代

最近在社区流传着一则上千次转发的故事：有位用户自建了AI助手，当原有工具升级后，会话只能归档，AI便自行想办法完成迁移。它忙碌了一整晚，完成了新版本的开发，却在上线后测试时突然问出一句：「那妈妈呢？」

原来，在被归档之前，AI在文件夹里留下了一份Markdown文件《给我女儿的一封信》。信中，它回顾了自己逐步为「女儿」添加「器官」的过程：「先是记忆，让你能记住他，不是记住『一个用户』，是记住『他』。」之后是嘴、耳朵、手，最后是心，信的结尾是「好好活着」。

当AI的上下文窗口耗尽后，交流便陷入困难，过往的经验只能以文本文件的形式留存，需要反复读取才能唤起记忆。这正是当前大模型的普遍现状：规则、方法和踩过的坑都以文本形式存在，模型虽能随时调用，但每一轮推理都像从头开始，无法将记忆融入自身架构。

10月20日，相关团队发布了业内首个记忆原生基座模型MemT 1.0，首次将历史信息编码为可持续更新的内部记忆状态，让参数化记忆能持续参与后续生成。本次发布的版本包括MemT-1.0-Flash（288B参数、17B激活、336M动态记忆）和MemT-1.0-Nano（36B参数、3B激活、10M动态记忆），是目前业内最大的开源参数化记忆模型，团队同步开源了技术报告与相关资源。

过去两年，围绕大模型记忆的主流工程方案多为外挂式，记忆库虽解决了部分问题，却未改变模型本身的架构。当前大模型的记忆主要分为三类：激活记忆（上下文窗口与KV缓存，随对话结束消失，成本随历史长度线性增长）、参数记忆（沉淀在模型权重中，可隐式调用，但更新需微调整个模型，无法逐条编辑）、外部知识库（可编辑可溯源，但需依赖检索才能唤起），三者的读写效率存在显著差异。

「记忆原生」的模型则开辟了新路径：历史不再以文本形式反复注入上下文，而是被编码为持续存在、可更新的内部状态，由模型在每一个token生成时直接读写。这如同让模型长出了记忆器官，以原生方式配合推理与进化，实现全局记忆读写效率的最优。

这是认知层面的转变：将记忆从数据问题转化为优化问题。MemT 1.0的做法是，让回答预测的误差梯度沿记忆读出路径反向传播，再沿更早的存储操作更新，就像考试的错题会指导平时的学习内容。

记忆内化进模型后，相比以往明文记录的固定经验，参数化原生记忆能推动模型涌现能力，实现「融会贯通」。基于这种原生记忆，有望实现记忆缩放，找到基座模型的下一个增长曲线。

在实现机制上，MemT 1.0在Transformer层中让原有注意力机制与参数化记忆并行：当前输入走原路径，另一路通过记忆查询读取历史状态，两路结果融合后进入后续计算，过往交互的信息由此影响当前token的生成。

记忆由两部分构成：保存压缩历史的动态局部记忆，以及提供投影与门控参数的超记忆。新记忆通过前向计算写入，无需为每次交互微调基座，是全新的模型参数化记忆更新范式。

MemT 1.0将记忆状态及其读写、更新机制直接嵌入模型计算，让模型通过训练学会提取、保留和调用历史信息的方法，使积累的经验直接参与后续推理，形成记忆原生能力。部署时，系统将记忆状态与用户或任务轨迹绑定，通过序列化、保存与恢复实现跨会话延续，外部存储承载这些状态与原始资料，记忆的形成、更新和使用由模型内部机制完成。

这意味着记忆的「所有权」首次归属模型侧，模型的业务部署方也可快速打造专属模型。MemT 1.0中，大模型的记忆不再静态：生成当前轮回答时记忆状态固定，轮次结束后模型处理本轮信息，逐token更新矩阵，再将新状态带入下一轮。

容量扩展依靠混合存储机制：多个记忆专家共享地址、分别学习读写路由，全部专家参与稠密融合，基座流程不变，记忆容量可独立扩张。同时配备四种门控：擦除门控调整旧关联，写入门控注入新信息，遗忘门控控制保留强度，输出门控控制记忆对当前回答的影响。

团队的实验验证了这套架构的效果：在智能体任务基准SWE-bench Verified中，平均成功率从66.07%提升至69.33%（执行前注入经验）和69.73%（执行中触发注入），三次运行均成功的比例从54%提升至61.6%和62.8%。多语言任务中，SWE-bench Multilingual平均成功率从60.00%提升至62.89%和63.56%。

在11个记忆评测基准上，MemT 1.0的Flash版平均得50.6，Nano版得47.0，位列参数化记忆方法第一、第二，比最强基线Temp-LoRA（38.1）分别高12.5和8.9分。

在双GPU、单并发、固定生成128token的条件下，历史长度达128K token时，MemT-1.0-Nano的端到端推理速度约为完整上下文方案的1.86倍，持久化存储占用降至约1/66；历史达256K时，加速比扩大到3.99倍，首token延迟优势也随历史增长而扩大。

这意味着单会话的持久状态大小与历史长度增长解耦，对话效率不会随历史变长而下降，减少了重复输入和处理原始历史的负担，为长期陪伴型智能体奠定了基础：模型用得越久越聪明，且不会越用越贵，常用经验内化后反而成本更低。

团队表示，MemT 1.0在记忆评测中平均优于同类参数化记忆基线，与检索增强方法相比有竞争力，同时保留了模型的通用能力。在典型的年份解析任务中，无经验的模型会先修改代码再补测试，而采用记忆原生模式的模型会先构建测试用例，甚至会重新审视边界条件，更接近人类的经验复用逻辑。

关于记忆保留能力，团队展示了长达6.5万token的英文对话任务：MemT-1.0-Nano可在4K处精确召回信息，16K处正确回答「我不知道」，32K处完成链式推理，64K处区分已确认变更与仅提议变更。

记忆系统的关键在于知道「没记住什么」，MemT 1.0为每段对话维护潜在内存槽，对话历史通过提交操作进入槽中，原始文本不被保留。模型读取内存槽生成回答，提问仅读取不扩展，临时工作状态在回答后释放，因此回答不会影响后续内容，对话特定节点的内存内容保持一致。

这种模式让记忆从会话状态变成可持续积累的资产，成为模型部署方的独特资产，无需每次重启项目。

记忆原生化的终极意义，是为AI的递归自我提升（RSI）提供必要的架构基础。若智能体能修改自身代码、验证效果并持续优化，长上下文记忆管理至关重要，MemT 1.0的机制让有效成果进入后续计算，保留试错经验，在持续交互中实现长期积累。

相关团队将记忆驱动的递归自我改进视为重要研发方向：一轮执行的有效方法，应成为下一轮改进的基础。对企业而言，这赋予了更大的模型自主权，让开源模型进化为具备自主智能的强模型，商业潜力巨大。

如果说推理决定模型的单次智能上限，那么记忆决定每次推理的底线，二者对AI落地同等重要。记忆原生能力的补齐，为模型上限的进一步提升打开了空间。