朴素RAG多基准领跑 记忆系统瓶颈在证据覆盖与保留

西安交通大学等机构的研究团队对“原文切块+稠密检索+重排”的朴素检索增强生成方案进行了系统性验证，结果显示该方案在4项记忆基准、7组测试设置中拿下6项第一，且写入成本比同类复杂记忆系统低1到2个数量级；研究同时指出，当前记忆系统的瓶颈主要在于证据覆盖不足和写入阶段的信息保留缺失。

研究背景：朴素基线的必要性

长期对话场景下，大语言模型的记忆管理已经发展出一整套复杂操作，包括事实抽取、旧记忆改写、知识图谱构建、分层归纳、检索策略学习等。这篇研究提出一个朴素的判断标准：先把“原样存储对话、检索结果重排、直接交付给读者模型”这条最基础的路线做扎实，再评估复杂操作能带来多少额外增益。这种思路能帮助记忆系统开发者明确对照组的选择、成本分配方式，以及如何解释自身方案的实际价值。

研究中用一个典型场景说明：用户此前告知“下周去北京”，之后改口要去上海。记忆系统有两种处理方式：一是在写入阶段把“北京”直接改写为“上海”；二是保留两句原话，在后续被询问时由读者模型按时间顺序判断。如果写入阶段的改写出错，或者丢失了“为什么修改”的上下文，即便后续检索再精准也无法弥补这种信息缺失——这正是该研究重点探讨的核心问题。

研究团队在4项记忆基准、7组“基准-读者模型”组合设置中，将朴素检索基线与12种现有记忆系统进行对比，还补充了对PersonaMem-v2的测试以及对14项过往评测的复核。该研究是预印本，尚未经过同行评审；多数基线成绩来自原论文对齐设置下的公开结果，主结果的领先幅度在0.13到5.53分之间，主表未做显著性检验，结论仅覆盖离线对话问答场景。

研究设计：先夯实基线再对比

朴素基线的核心操作

该基线的写入阶段不调用任何大模型：每段对话按消息带上时间戳后拼接成文本，切割为256个token的窗口，相邻窗口重叠32个token，编码为扁平向量索引。检索时，先用余弦相似度选出128个候选窗口，再用交叉编码器对每个“问题-窗口”对打分，保留前15个窗口并展开为完整对话轮次交付给读者模型。检索使用原始问题，不做改写，也不做多轮检索。

检索组件有两套可选搭配：text-embedding-3-small搭配Cohere重排模型v3.5，或Qwen3-Embedding-4B搭配Qwen3重排模型4B。需要注意的是，“前15块”控制的是条数而非长度：交付给读者的证据在不同基准中的token数差异较大，读取主结果时需结合这一预算差异综合判断。

测试基准与读者模型

研究选用四项各有侧重的基准：本地对话记忆基准包含10段长对话、1540道非对抗题；长文本记忆评估基准有500个样例，覆盖更新、时间推理和拒答场景；多轮对话记忆评估基准包含100个情节、1188道分阶段题，专门考察删除、级联和失效场景；智能体记忆代理基准来自14个数据源，分为精确检索、测试时学习、长程理解和冲突消解四类任务。读者模型选用GPT-4o-mini、GPT-4.1-mini和DeepSeek-V4-Flash。

测试对齐方式分两种：在本地对话记忆基准和长文本记忆评估基准上，研究团队让该基线复现各基线原论文的评测设置，基线保留公开成绩；在多轮对话记忆评估基准和智能体记忆代理基准上，所有系统按同一流程重跑。前者节省算力，但同一张表中的基线可能来自不同实验环境。

三组诊断分析

除了对比准确率，研究还设计了三组诊断来回答“为什么朴素基线表现更好”：第一组将准确率拆分为覆盖率（检索到充分证据的题目比例）和利用率（在证据充分的题目上答对的比例）；第二组在多轮对话记忆评估基准的追踪和级联题上，区分“取到答案值”和“取到推出答案所需的时间顺序与依赖规则”；第三组让每个系统在完整存储中选择证据，与直接提供原始证据的情况对比。

发现解析：朴素基线为何有效

多数场景领先，但幅度有差异

在排除全上下文设置后，该基线在7组测试中的6组排名第一。具体来看，本地对话记忆基准上，领先第二名0.95分（GPT-4o-mini设置）和0.65分（GPT-4.1-mini设置）；长文本记忆评估基准上领先0.13分；智能体记忆代理基准上领先4.48到5.53分；多轮对话记忆评估基准的GPT-4o-mini设置领先2.24分。唯一例外是DeepSeek-V4-Flash下的多轮对话记忆评估基准，另一系统领先1.52分，但全上下文设置的准确率比该基线高19.98分，说明在依赖链复杂的任务上，所有检索方案仍有较大提升空间。

证据预算与成绩的关系

有观点认为该基线的优势来自给读者模型提供了更多证据，研究团队对此做了验证：将证据压缩到5000个token以内，结果显示，压缩后在本地对话记忆基准、长文本记忆评估基准、多轮对话记忆评估基准上仍分别领先最强记忆系统1.30、1.80和1.15分，说明成绩提升并非单纯靠增加证据量。不过，不同任务的结论有差异，比如在PersonaMem-v2的个性化多选题上，该基线未进入前三，而在去掉拒答题的长文本记忆评估基准上领先幅度达4.80分，需结合具体场景解读结果。

记忆管理的反效果

对该基线自身设计的消融实验显示，去掉重排操作后总分下降3.92分；块大小在128到1024个token之间无显著差异；取块数在5到60之间变化时，成绩波动在1.3分以内，仅取1块或120块时成绩明显下降，说明无需过度调整取块数。在该基线基础上增加记忆管理操作后，成绩反而下降：原子事实抽取使总分降19.62分，测试时学习能力大幅下降，摘要增强和知识图谱构建也带来不同程度的成绩损失。

成本差异更为显著：三种附加记忆管理操作需要数千万到数亿个大模型token、数小时计算时间，而该基线仅需约12分钟，且不调用大模型。在多轮对话记忆评估基准的测试中，该基线的写入和检索耗时比最快的同类系统快5倍以上，比最慢的快30倍以上，写入成本低1到2个数量级。

瓶颈：证据覆盖而非理解

诊断分析显示，准确率的差异主要来自证据覆盖率而非利用率：在智能体记忆代理基准上，各系统覆盖率在19.07%到45.29%之间，利用率在80.00%到89.71%之间；在多轮对话记忆评估基准上，覆盖率极差达40.66个百分点，利用率极差为21.04个百分点。该基线在两个基准上的覆盖率均最高，但利用率并非最高，说明系统间的差距主要在于能否把足够的证据送到读者模型面前，而非读者模型对证据的理解能力。

进一步分析发现，取到答案值不等于取到推理链：在多轮对话记忆评估基准的追踪和级联题中，该基线有62.34%的题目同时取到了答案值和完整的时间顺序或依赖规则，而部分系统仅在9.62%的题目中做到这一点，说明抽取式记忆可能丢失了关键的关系信息。最后一组对照实验显示，即使在完整存储中选择证据，多数系统的成绩仍远低于直接使用原始证据，说明写入阶段的信息保留是重要瓶颈之一。

总结：让复杂度接受强基线的检验

该研究的核心贡献在于，将多个关键分析点整合为一条清晰的逻辑链：先验证显式记忆改写的实际应用率低、强读者模型可自行推导状态变化，再指出过往检索增强生成基线配置不足，然后用夯实后的朴素基线与复杂记忆系统对比，最后将差距归因于证据覆盖和写入信息保留。研究真正关注的不是新方法，而是记忆系统中每一层加工操作的成本效益。

对于智能体记忆系统的开发者，研究给出的建议是：先上线“原文切块+宽候选+交叉编码器重排”的朴素检索方案，保留原始历史，再按任务需求逐步添加抽取、摘要或知识图谱等操作，每添加一项都要在同一读者模型和证据预算下对比；评估时将准确率拆分为覆盖率和利用率，并单独检查依赖路径是否被取回。通过这种方式，记忆系统的复杂度可以被量化和检验，开发者能明确每一层加工是否真正带来增益。