openJiuwen AgentMemory推OmniMem-Lens 长视频记忆精度提升45.7%

当AI智能体需要处理长视频任务时，比如梳理新品发布会的产品亮点、标记监控视频中的异常事件，现有技术的短板会被快速放大——海量信息远超上下文承载上限，导致处理精度和效率大幅下降。

目前行业普遍采用的解决方案，是将长视频按固定时间窗口（如一分钟）粗暴分割，再让智能体分段记忆。但这种方式的弊端十分明显：它会把原本连贯的记忆切碎，让智能体只能获取碎片化信息，甚至出现幻觉；同时，关键信息会被大量无关内容淹没，召回精度骤降。

问题的核心在于，人类是按事件理解和记忆视频，而现有智能体是按时间戳切割存储。就像回忆电影时，我们会按“相遇、误会、和解”的情节脉络梳理，而非机械截取每60秒的片段。更棘手的是，多数分割方案仅依赖单一模态（画面或语音），画面静止时无法识别议题切换，无台词时也难以捕捉线索，记忆的“焦点”从源头就已丢失。

针对这一痛点，某团队在openJiuwen AgentMemory 0.2.0版本中，正式推出了多模态记忆能力OmniMem-Lens。这项技术让智能体拥有了“按真实事件记忆”的能力，核心是通过视觉和听觉两条轨迹识别视频中的事件边界，实现“按事件存储、按事件调取”。

OmniMem-Lens的设计围绕三个核心方向展开：按真实事件分割记忆、分层存储记忆单元、离线整理记忆以实现在线快速响应。它像给智能体装上了“超级海马体”，既懂得自动定焦事件边界，又能分层整理记忆内容，让长视频记忆从盲目切割走向精准透视。

视听双流联动：精准识别事件边界

OmniMem-Lens同时融合视觉和听觉能力：视觉模块会捕捉画面变化并标记场景切换，听觉模块则通过语音转录识别话题转向——即使画面静止，只要讲者更换议题，系统也能通过语音变化判断事件边界。这种双证据交叉对焦的方式，让长视频的分割完全贴合真实事件脉络，避免了记忆碎片化的问题。

三层记忆结构：兼顾大纲与细节

不同提问需要的信息颗粒度不同，OmniMem-Lens构建了三层记忆单元：最上层是精简的大纲信息，中间层是关键索引，最底层是原始视频帧细节。这种结构就像带目录和索引的书籍，既能快速定位整体内容，也能按需调取具体细节。同时，上层的大纲和索引已文本化、向量化，可无缝接入主流向量数据库，开发者几乎无需改造现有技术栈即可使用。

离线整理与在线响应：兼顾效率与精度

如果让智能体每次都重新读取视频内容，不仅响应极慢，还会消耗大量算力。OmniMem-Lens将记忆整理工作提前在离线阶段完成，智能体面对提问时直接调取已整理好的记忆，实现秒级响应。具体流程是：用户提问先与上层记忆单元做语义匹配，快速定位到精炼内容；仅当需要视觉细节验证时，才会按需调取底层的原始视频帧。这种“轻量级文本索引+延迟调取原始内容”的架构，大幅提升了检索效率。

性能数据：精度与效率双提升

团队通过三个主流长视频问答评测集测试了OmniMem-Lens的效果，对比直接使用多模态模型处理的情况，结果亮眼：召回精度最高提升45.7%，在线时延最高降低97%；在通用长视频基准上精度提升8%，长视频理解基准上提升6.4%，而在事件密集的生活场景评测集上，精度更是达到45.7%的提升幅度。时延方面，某基准测试中，直接处理需要34.5秒，而OmniMem-Lens仅需1.72秒，速度提升近20倍。这种差距，就像每次重看完整电影回答问题，和提前做好笔记后快速调取答案的区别。

案例验证：解决实际场景痛点

第一个案例：一段2小时的动画片中，“女生离开→男生目送→幻想蝴蝶”的完整事件从第14分20秒持续到第16分50秒，横跨三个固定时间窗口，被切割成三段无关内容。当用户询问女生离开后男生的想象内容时，现有模型无法将“蝴蝶”与幻想关联，答非所问。而OmniMem-Lens通过视听双流识别出完整事件边界，保留了因果关系，准确回答了问题。

第二个案例：一场2小时的产品评审会，屏幕40分钟静止但讲者切换了三个议题，现有视觉方案会将其视为同一段内容，导致关键性能数据被淹没。OmniMem-Lens通过语音识别话题转向，将40分钟内容分割为三个独立事件，用户查询性能数据时可直接命中，无需在大量无关内容中检索。

目前，该技术已在openJiuwen AgentMemory 0.2.0版本上线，且相关能力将接入WorkSwarm，帮助用户更好地处理日常对话中的视频内容，提升讨论时的记忆效率。对于多模态智能体而言，这项技术为长视频场景提供了高精度、极速响应的记忆底座，让智能体真正实现“过目不忘、对答如流”。