文章摘要
本月初在匹兹堡闭幕的IROS2026大会将最佳论文奖授予了LT-Mem研究团队,该研究让机器人在重新访问同一空间时,能够完整保留每个物体的位置变迁历史,而非仅记住最新一次观测到的状态。评委会从近两千篇

本月初在匹兹堡闭幕的IROS 2026大会将最佳论文奖授予了LT-Mem研究团队,该研究让机器人在重新访问同一空间时,能够完整保留每个物体的位置变迁历史,而非仅记住最新一次观测到的状态。评委会从近两千篇收录论文中选出这项成果,既认可其扎实的研究工作,也向学界传递了一个明确信号:具身长记忆已从工程层面的临时补丁,转变为机器人领域公认的核心科学问题。

从落地角度来看,通用机器人要实现规模化应用,需要以小时、天甚至周为单位持续运行,而非仅能工作几分钟。没有长时记忆的机器人,每次与环境交互都如同初次见面,只是一个个孤立的单次动作执行器;而具备长时记忆的机器人,才能从一次性工具转变为可长期协作的智能伙伴。

但解决长时记忆问题远不止扩大上下文窗口那么简单:持续涌入的多模态数据既无法全部存储,也难以高效检索;现实世界处于动态变化中,新的观测既不能简单覆盖旧信息,也不能无序堆叠;更棘手的是,错误的记忆会在后续决策中被反复调用,导致错误不断放大。记忆如何写入、留存、纠错,都是需要正面解决的核心问题,绝非调整几个工程参数就能实现。

行业观察注意到,在该方向获得顶会认可的数月前,国内具身智能初创团队已在相关领域布局。今年五月,某具身团队的联合创始人在采访中明确表示,长效、多模态、时空记忆的缺失,是团队首先要突破的方向。随后,团队陆续发布了全时空多模态记忆架构、世界动作模型及首款机器人。10月20日,团队将相关记忆机制的研究成果整理为系统方法与实验内容,发布在学术平台上。

这项研究的表现颇为亮眼:采用9B开源模型生成记忆,在四项代表性记忆基准的对比评测中均取得最优成绩。尤其在串联多次观测线索、回忆长时间跨度事件、识别个人习惯等任务上,展现出明显优势——这些能力正是机器人进入生活、持续积累对人与环境认知所必需的。

LT-Mem研究从多会话建图切入,将问题聚焦于可评测的清晰场景;而另一团队的研究则从记忆形成、验证及失败学习的系统视角,搭建了完整的记忆底座。一边是顶尖学术领域的单点攻坚,一边是产业落地导向的系统构建,两者的交汇足以证明,长时记忆已成为整个领域正在形成的核心研究方向。

记忆研究的当前进展与空白

围绕机器人长时记忆,学界已探索了多种方法。若按类别梳理,可从不同维度看清当前的进展与未解决的问题:

第一类关注空间侧记忆,即“环境中存在什么”。相关研究将物体、地点、房间组织成可被查询的关系网络,还引入时间维度实现动态建图,部分研究让移动操作机器人在物体被挪动后仍能更新记忆,真机上对非静止物体的取放成功率平均达70%,是静态系统的两倍以上。这类研究对空间关系的记录清晰,但主要是呈现当前的世界状态。

第二类关注检测类记忆,即“见过什么”。相关研究将长时导航视频转化为可检索的时空记忆,但检索仅按相似度排序,无法回答“当前是否存在该物体”这类问题,只能返回过去的信息。

第三类关注变化侧记忆,即“物体是否发生改变”。LT-Mem正是该方向的典型研究,它将现有系统的问题命名为“时间性失忆”:要么用新观测覆盖旧状态,要么仅存储语义快照却无法保持物体身份的一致性。该研究采用随物体习性变化的易变性分数,决定新观测的处理方式,但也存在局限:测试仅覆盖两个室内和一个室外场景、各10次访问,外观相似物体的身份关联仍有困难。

第四类关注操作侧记忆,即“执行到哪一步”。相关研究指出主流模型普遍忽视时序上下文,补充工作记忆与记忆库后,长时任务的真实成功率提升显著;还有研究用视频承载短时记忆、自然语言承载长时记忆,可跟踪长达十五分钟的任务,但也提醒设计不佳的记忆会放大虚假关联,损害性能。

现有四类研究各有侧重,仍存在三大空白:一是空间侧与操作侧研究相互独立,前者可跨周存在却不进入动作,后者涉及动作但寿命仅以分钟计;二是记忆的写入、留存、核对多依赖人工设计,文本领域的智能体已用强化学习管理记忆,具身记忆领域尚未有同等成熟的方案;三是记忆能否追溯到证据,多数系统仅存储描述,原始画面和声音在摘要后就无法获取,家庭场景中用户迟早会询问记录的可信度与复查方式。

有意思的是,针对这三大空白,另一团队的研究给出了完整的解决方案。

将记忆转化为有出处、可验证的判断

该研究的出发点是将记忆视为机器人对世界的判断,而非简单的日志。论文构建了三个相互关联的结构:时态状态图,记录当前对世界的认知;仅追加的事件日志,记录状态的变化过程;有限容量的源数据档案,留存选定的原始图像与音频。三者共用实体、事件和来源标识,档案容量有限,需在存储与读取预算下权衡原始数据的留存方式。

这种设计将证据与状态分离,如同法庭中的案卷与判决:证据是案卷,状态是判决,判决可改判但案卷不能涂改。仅存证据不估状态,系统知道观测过什么却无法说明当前状态;仅存状态不留证据,误判会被固化且无法归因。

每条状态记录除内容外,还携带空间上下文、置信度、来源和版本号,并标明状态类型,时间分为有效区间、观测时间、写入时间三种。转变时间不确定时记为区间,超出直接观察的内容标为推断,类似带出处和保质期的台账,纠错时不会丢失原始信息。

在此基础上,记忆分为六层,各层相互引用,事件日志和源档案贯穿其中,记忆经过整合修订后仍保留出处。

以钥匙为例,拿起、交接、放入是三个独立事件,各自记录执行人并链接到带时间戳的画面和音频,语音转写保留说话人并关联原始音频,机器人可清晰区分事件中的不同主体与状态变化。

写入过程有明确规则:先登记来源和采集时间,切割窗口后生成实体、关系和事件提案,经比对保留候选假设,提交前核对来源证据、时效范围和记录版本,通过后追加事件并更新状态。关键原则是,历史记录只是搜索线索,而非现状证明,需结合当前观测确认状态。

这种设计与LT-Mem的保守更新逻辑相通,覆盖面更广,状态包含任务进度、容器开合和动作结果等信息。该团队的相关负责人曾表示,记忆系统可复用其在千人千面推荐系统中的经验,将不确定性、漂移偏好、过期判断的处理范式迁移到机器人时空记忆,带来了成熟的不确定性治理思路。

让状态进入动作与验证环节

若状态仅服务规划器,仍存在局限。该研究的做法是让模型、智能体和动作三层读取同一份状态,各取所需的时间尺度。相关模型与世界动作模型同在统一大脑内,原则是分工保留、状态共享,避免规划、控制和预测各缓存一份世界导致偏差。

动作层需要两种记忆:一种是短时动作与感知记忆,将操作过程压缩为少量变量,小偏差在这一层消化,超过阈值才写回任务状态;另一种是跨回合的物理经验,将单次交互学到的常识转化为可复用条目,供动作模型调用。

动作后需进行验证,世界模型依据记忆中的完整状态预测结果,验证器与真实反馈比对,误差可接受则提交检查点,局部偏差退回动作循环,假设失效则重新规划。异常阈值从历史偏差中学习,而非人为设定。

让记忆持续进化

机器人出错可能是动作问题,也可能是记忆问题,仅更新动作模型会保留记忆缺陷。该团队将记忆策略和行为策略放入同一反馈框架联合优化,奖励包含任务完成、证据覆盖、状态一致性等八方面,跳出了仅优化动作的常规思路,将记忆本身变为持续进化的模块。

研究展示了两项关键设计:让小模型学会形成可靠记忆,让记忆策略从失败中持续改进。在记忆形成上,通过监督微调与强化学习训练小模型关联观测与历史信息,奖励依据多次独立记录和原始画面复核;在策略改进上,设计了失败反馈驱动的记忆策略自我改进机制,通过回放检验修复效果,逐步沉淀可复用的策略。

这套版本化、可回滚、带灰度测试的记忆迭代流程,在具身智能领域较为少见,规避了自我进化失控的风险。

实验结果显示,在多项任务中表现突出,尤其在串联记录的题型上优势明显,消融实验也验证了来源证据和写入学习的重要性。研究虽有短板,但方向亮眼。

面向家庭场景的适配设计

结合家庭场景特征,该方案的设计更显精心:

一是多变化,家庭没有严格的物品摆放规则,物件位置动态变化,研究将证据与状态分离,让机器人记住物品变迁过程;二是多主体,家庭中不同成员有不同习惯,研究将动作主体和说话人归属到具体来源,人物理解能力是家庭机器人的关键;三是长周期,家庭相处以周月年计,研究约束规律需经多次印证,避免单次偶然固化为规则;四是信任,家庭机器人需记录生活,研究将权限管理和数据删除机制融入架构,保障用户信任。

这套设计适配了家庭机器人的核心诉求,也可应用于养老院、零售门店等多主体、长周期场景。

回到论文副标题的含义,既是技术题也是信任题,该团队的工作将两道题合并解答,在众多团队中,将长时记忆作为核心主线研发的情况并不多见。目前仍有空白,首款机器人的推出将提供观察窗口。

以上内容不代表本平台立场,仅供读者参考