文章摘要
谷歌开源多模态Agent记忆架构项目FashionMind,该方案针对传统多模态智能体会话断连记忆清零、向量库难以精准匹配精确事实的痛点,采用三类记忆分存、读写链路拆分的设计,可有效解决相关记忆问题,对应代码已在开源平台发布。

某云厂商技术团队的工程师Annie Wang公开了一堂关于多模态智能体记忆架构的专题课程,并开源了配套的示范项目,解决多模态智能体的记忆痛点。相关代码地址可访问某开源平台链接。

带语音和视觉能力的多模态智能体,在单轮对话中往往表现出色,但一旦用户关闭页面重新打开,之前聊过的偏好和背景就会全部丢失,如同电脑内存,对话结束即释放,下次用户再进入时,面对的还是一个完全陌生的助手。

为解决这一“健忘”问题,不少团队选择将订单、日程、聊天偏好等全部存入同一个向量数据库,这种做法看似简单,却存在明显缺陷:当用户询问精确事实时,系统只能依赖语义相似度匹配猜测答案,容易出现偏差,比如用户问“我周四买过那件外套吗”,向量库可能返回心愿单里的同类衣服或上月讨论过的款式。

该技术团队提出了相反的解决方案,核心是将记忆按性质拆分为三层,同时把读写链路拆分为实时热路径与后台异步任务。

一、传统记忆方案的两大问题

1. 会话断开后,上下文记忆清零

传统方案将会话上下文类比为电脑内存,对话时可直接调用,但会话结束后内存立即释放,导致用户再次使用时,智能体无法关联之前的交互内容。记忆设计的核心并非存储所有信息,而是明确哪些内容需要跨会话保留。

2. 向量库无法精准匹配精确事实

不少开发者遇到长期记忆问题时,第一反应是使用向量数据库,将所有聊天文本、购买清单、日程记录切成片段后计算向量存入。但向量检索的优势是查找相似内容,并不擅长核对确切记录,当问题需要精准命中某条记录时,相似度匹配就会成为隐患。

二、三类记忆数据分离存储

1. 结构化事实存入关系数据库

带有编号、时间戳、需要增删改的结构化事实,属于精确事实,这类数据适合存入关系型数据库,比如“周四晚上七点有客户聚餐”“已经买过蓝色夹克”“把西装加入心愿单”等,通过 add_to_wishlist、mark_purchased 等工具直接执行事务更新,读取时用精确条件过滤,避免模糊检索。

2. 动态偏好交由向量库管理

没有固定结构的动态理解,比如“用户怕热”“喜欢极简风格”“深色系让她更自信”等,这类信息需要多轮对话才能明确,适合存入向量数据库。相关配置中设定了7个提取主题,包括用户偏好、个人信息、穿衣风格等,这套设计不绑定特定云产品,核心是将规律性理解与精确事实分离。

3. 音视频仅存储提炼结果

对于多模态智能体的音视频流,原始画面和音频本身不是记忆,只需存储提炼后的结论,比如“她戴了那顶黑色帽子”“这场晚宴偏正式”,原始流的存储属于独立决策,和智能体记忆无关。

三、读写分离保障语音流顺畅

1. 会话启动前并行读取两类记忆

存储边界明确后,运行时需顺畅整合记忆,该方案将读取动作放在智能体开口前,新会话启动时,后端并行读取关系库的日程和心愿单,以及向量库的用户偏好,让智能体从开口第一秒就拥有确定性事实和概括性理解,无需用户重复说明信息。

2. 确定事实当场写入,偏好后台异步处理

写入路径分为两条:当用户发出明确指令,比如“把西装加入心愿单”,需在当前回合直接写入数据库,给用户即时确认;而风格偏好等内容,不能立刻覆盖,且提炼需要大模型,会产生延迟,在语音对话中会导致卡顿,因此后台用异步任务处理,在交互后静默提炼,保障语音流顺畅。

四、开源代码的工程取舍

开源代码为适配真实网络环境做了三处调整:

1. 替换推荐工具为正则匹配

原方案计划用推荐工具推商品卡片,后改为用正则匹配文本中的商品名,省去工具调用往返,商品数量有大小限制,避免token成本上限问题。

2. 延后音频流启动时间

早期方案计划零延迟开麦,后改为等待记忆读取完成后再开启音频,设置超时上限,保障记忆准备妥当后再交互,避免卡顿。

3. 对话状态暂存本地内存

团队选择本地内存存储对话状态,不用远程服务,避开远程延迟和连接断连问题,保障语音流稳定。

写在最后

这套开源方案的核心是拆分数据类型,不同数据用不同存储和处理方式,搭建带记忆的多模态应用时,可参考这种分层和拆分的思路,明确不同数据的存储路径和处理逻辑。

以上内容不代表本平台立场,仅供读者参考