多模态Agent记忆评测基准WorldMemArena获NeurIPS 2026接收

加州大学圣塔芭芭拉分校、斯坦福大学、苏黎世联邦理工学院、约翰斯·霍普金斯大学、卡内基梅隆大学与摩根大通的研究者联合提出针对多模态智能体记忆的评测基准WorldMemArena，相关论文已被NeurIPS 2026接收，共同第一作者Chengzhi Liu与Yuzhe Yang均来自加州大学圣塔芭芭拉分校。

该团队聚焦智能体记忆领域的实际痛点：部分智能体虽存储了项目计划，却在预算更新后仍沿用旧版本执行；部分智能体看过环境截图后，却在后续步骤中忽略了画面中已发生的状态变化。这类表现背后的原因究竟是智能体未记录关键信息、未及时更新记忆，还是检索到证据后未将其用于决策？

当前多数记忆评测仅通过问答正确率判断智能体的记忆能力，却忽略了核心问题：能复述过去的内容，不代表能有效运用记忆。这正是WorldMemArena试图解决的核心矛盾。

传统评测常将长对话交给模型，最终用问答结果打分，但一次答错的原因可能有多种：可能是初始未记录关键事实，可能是新信息覆盖旧信息时出现问题，也可能是证据存在但检索环节未找到，或找到后未用于回答。此外，将图像压缩为文字描述的方式，容易丢失位置、时间及操作过程中的细节。

针对这些问题，WorldMemArena将评测逻辑置于“观察—行动—环境反馈”的循环中：智能体不仅需要回忆对话内容，还需面对不断变化的任务状态、网页、文件、截图及工具结果。评测不再仅关注最终结果，而是追踪记忆如何影响智能体的后续判断。

为精准定位记忆问题的环节，论文提出“行动—世界交互循环”，将长期记忆拆分为四个可明确区分的阶段：写入是从当前观察中筛选未来可能有用的证据；维护是在世界状态变化时，对记忆进行更新、合并或丢弃过时内容；检索是在下次决策前找回相关证据；使用是将证据转化为回答或行动的依据。这种划分将笼统的“智能体忘记了”转化为可具体排查的问题：究竟是漏记、记错，还是未找到证据，或是找到后未使用？研究团队为任务标注了关键记忆点、状态更新、干扰信息及答案所需的证据链，为各阶段的诊断提供了统一依据。

WorldMemArena包含400余项多会话任务、24258组问答及15595张图像或截图，任务分为两类：一类为“终身演化”任务，追踪智能体对用户偏好、项目进度等跨会话变化的记忆；另一类为“智能体执行”任务，从真实或重建的智能体轨迹中提取素材，保留观察、操作、工具反馈及视觉状态信息。后一类任务更考验记忆的“行动性”，智能体不仅需记住用户的要求，还需了解自身尝试过的操作、失败步骤及环境的后续变化。数据构建过程中设置了中途和最终检查点，问题覆盖事实回忆、动态更新、冲突处理、视觉搜索及跨模态推理等类型。

研究人员在统一设置下，对比了长上下文模型、RAG与外部记忆系统，以及智能体自主管理记忆的路线，得出关键结论：存储的记忆数量多，不代表能有效运用这些记忆。例如，某系统的记忆召回率达到86.83%，但最终问答正确率仅为50.14%；另一系统的对应数值为85.20%和57.81%，说明记忆的写入量与实际调用证据的能力并不成正比。

此外，研究还发现，多数系统倾向于不断追加新记忆，却不及时修订旧记忆；视觉信息虽被存入记忆库，但在跨时间、跨模态推理时，未必能可靠发挥作用。对不断变化的世界而言，遗忘过时信息与保存新信息同等重要。

进一步的分析显示，更贴近真实执行过程的任务难度更高，多数系统在“终身演化”任务上的表现优于“智能体执行”任务；视觉搜索、视觉状态更新及跨模态推理是现有系统的短板，部分系统虽“看过”截图，却未将其中的变化转化为后续决策可用的证据。

WorldMemArena的意义不止于对记忆系统进行排名，它将研究焦点从“能否复述过去”推进到“能否维护持续变化的世界，并让过往经历助力后续行动”。现阶段的结果提醒我们，在记忆的存储容量、检索数量与最终答案之间，还有多个关键环节需要优化。更可靠的智能体记忆，需要具备修订记忆、甄别证据，并将失败与反馈转化为后续判断依据的能力。