浙大研发EMem-Bench 破解具身智能记忆难题

设想这样一个日常场景：一个智能机器人在茶几上看到了一本书，随后去厨房完成了几项任务，等接到取书指令后，却开始挨个房间搜索，甚至在一个打不开的抽屉前反复尝试。

对人类来说，“记得东西放在哪里”“知道物品后来被挪走”“记住哪些办法行不通”都是日常基本能力，但对具身智能体而言，要将过去的观察、行动和反馈关联起来并用于后续任务，仍是一大难题。目前已有基准开始关注视觉历史、空间状态更新等问题，但针对长期交互中的多种记忆需求，仍缺乏统一的行动评测体系。

当AI走进持续变化的物理世界，它究竟需要怎样的记忆？又该如何判断AI是否真的记住了信息并能据此行动？

具身记忆需要连接视觉观察、行动与环境反馈，保留交互过程中的状态变化和因果关系。为回答上述问题，相关研究团队提出了EmbodiedMemory-Bench（简称EMem-Bench）：通过四类任务、2554条可执行的交互样本，系统评测智能体能否从历史中建立记忆并完成后续任务。该工作还提出了外部记忆系统Embodied-Memorizer（简称EMem），以及用于学习管理和使用记忆的EMem-8B模型。发布约三周后，该基准在相关平台的下载量已接近3万次。

为找出长程具身任务中的困难，研究团队分析了两款模型在相关基准上的100条失败轨迹，其中四类与具身记忆相关的问题合计占比91%：忽略细粒度视觉线索（35%）、遗漏环境状态变化（18%）、未记录交互反馈揭示的状态（31%）、未能迁移过去的经验（7%）。这些现象指向具身记忆的特殊要求：部分信息仅在某一帧短暂出现，部分记忆需随环境更新，部分状态需通过交互发现，部分经验需从具体事件归纳后迁移到新对象。例如，“抽屉打不开”无法仅通过图像判断，需尝试和反馈；“餐具应放在该抽屉”也不是简单的位置记录，而是多次纠正形成的规律，具身记忆需保留这些信息的来源与关联，为后续行动提供依据。

EMem-Bench的每条样本都提供按时间排列的多模态交互历史，再给出后续任务，智能体需从历史中找回关键证据，在仿真环境中执行导航、打开容器、拿取放置等动作，直到达到任务终态，评测将“过去发生的事”与“现在如何行动”关联起来。该基准围绕四种记忆需求设置了四类任务：

1. 被动观察：考察智能体能否保留执行其他任务时偶然看到的细粒度视觉信息，后续任务中找回相关物体位置。目标可能混在多个物体中，观察时未知其后续用途，例如智能体曾在茶几上看到笔记本电脑，后续任务要求拿起电脑时，需利用那次观察找到它。

2. 动态跟踪：考察智能体能否随物体位置或状态变化持续更新环境认知，历史中包含同一物体的多条记录，模型需判断当前有效状态，避免依据过时信息行动，例如一本书先在床上，后被放进盒子，再移到书桌，智能体需按最新位置寻找。

3. 交互失败：考察智能体能否记住行动结果揭示的环境状态与交互限制，据此调整后续选择。锁住的抽屉、不可用的容器等信息需通过尝试获得，反馈需与具体对象对应，例如一次开抽屉失败揭示上层抽屉锁住，后续存放钥匙串时，智能体需选择可用的下层抽屉。

4. 经验泛化：考察智能体能否从多个对象的纠正经历中归纳共同规律，应用于历史未出现的新对象，需理解过去经验的相关性及适用场景，例如过去多次纠正要求将刀、勺子收进抽屉，面对新出现的叉子时，智能体需迁移收纳习惯。

四类任务分别考察视觉细节保留、最新状态更新、交互反馈记忆，以及从纠正中学习可复用经验。研究团队选择可导航、可交互的多房间环境，围绕四类任务构造记忆线索，在关键线索前后插入无关交互，拉长线索与后续任务的距离，确保历史变长但证据仍可定位。前三类任务的历史长度中位数为78-83步，经验泛化任务达111步，关键线索与目标任务的中位间隔仍有52-56步；被动观察任务的关键画面平均包含11个可见物体，对细节记忆提出要求。基准覆盖1118个场景、125种可见物体、83种目标物体和33种容器，经自动验证和人工审核后保留2554条有效样本。

为改善上述问题，研究团队提出EMem，将具身经验组织为三种互补的记忆：场景记忆保存选定的视觉画面、描述和物体，与场景绑定以区分不同场景中的同类物体，筛选相似画面保留新增细节；空间记忆通过实体图维护物体的位置、关系和属性，当物体位置变化时，新关系替换冲突旧关系，保留有效属性形成最新世界状态；事件记忆按时间记录行动、结果和纠正，保留“抽屉打不开”等交互证据，相关纠正可归纳为规则并关联原始事件供新对象检索。

三种记忆协同形成“观察—写入—检索—行动—反馈更新”的循环：模型按时间处理历史，每步根据当前画面、上一动作及反馈决定写入内容；接到任务后，选择需查询的记忆，例如找书需最新位置、避开锁着的抽屉需失败反馈、收纳新餐具需归纳的规则；检索先通过结构条件筛选，再补充文本匹配，将证据交给行动阶段；执行结果更新记忆，动作失败或状态变化时，系统重新规划。

有了外部记忆，模型还需决定保存哪些信息、查询什么、如何转化为行动，团队对Qwen3-VL-8B进行监督微调得到EMem-8B，围绕这三个决策训练模型，使其学会记忆操作。

实验对比了通用开源模型、具身模型、闭源多模态模型及代表性多模态记忆系统，结果显示各类模型在四种记忆能力上表现不均衡。在full-context设置下，Gemini-3-Flash以64.2%的平均成功率居首，Qwen3-VL-32B在经验泛化上达63.1%，但动态跟踪仅20.3%；具身模型的专门训练未稳定转化为长期记忆优势，空间感知与规划训练需覆盖状态维护和经验使用。

相同骨干下，EMem带来明显提升：以GPT-5.4-mini为骨干时，EMem将平均成功率从35.3%提升至58.9%，增加23.6个百分点，优于其他记忆系统的最佳结果；在开源骨干上，EMem为Qwen3-VL-8B、Qwen3-VL-32B和Mistral-Small-3.1-24B分别带来10.8、14.1和16.4个百分点的提升，EMem-8B经训练后达46.0%，比原始模型提高20.6个百分点。消融实验显示三种记忆互补，移除任一记忆后成功率降至46.9%-47.9%，动态跟踪依赖空间记忆，交互失败与经验泛化依赖事件记忆，被动观察依赖场景记忆。

对照实验发现，增加历史图像反而降低成功率：在固定样本上，扩展设置加入尽可能多的历史图像后，平均成功率从36.6%降至26.2%，输入tokens增至约4.9倍，模型延迟增至约9.5倍，说明历史堆积不能替代有效记忆，关键是找回相关证据、更新过时状态、抑制无关信息。失败分析显示，61.3%的失败属于记忆使用错误，交互失败任务包含较多上下文推理错误。

EMem-Bench通过四类任务评测长期具身记忆，EMem和EMem-8B探索记忆的组织、更新与使用，核心是让过去的观察、行动和反馈成为后续决策的依据。当前结果主要来自仿真环境，未来需在更长时间跨度、更复杂环境和真实机器人上，检验这些能力应对传感器噪声、执行误差与开放世界变化的表现。