谷歌开源FashionMind:多模态Agent记忆架构的分层解法

某云厂商技术团队的工程师Annie Wang公开了一堂关于多模态智能体记忆架构的专题课程,并开源了配套的示范项目,解决多模态智能体的记忆痛点。相关代码地址可访问某开源平台链接。
带语音和视觉能力的多模态智能体,在单轮对话中往往表现出色,但一旦用户关闭页面重新打开,之前聊过的偏好和背景就会全部丢失,如同电脑内存,对话结束即释放,下次用户再进入时,面对的还是一个完全陌生的助手。
为解决这一“健忘”问题,不少团队选择将订单、日程、聊天偏好等全部存入同一个向量数据库,这种做法看似简单,却存在明显缺陷:当用户询问精确事实时,系统只能依赖语义相似度匹配猜测答案,容易出现偏差,比如用户问“我周四买过那件外套吗”,向量库可能返回心愿单里的同类衣服或上月讨论过的款式。
该技术团队提出了相反的解决方案,核心是将记忆按性质拆分为三层,同时把读写链路拆分为实时热路径与后台异步任务。
一、传统记忆方案的两大问题
1. 会话断开后,上下文记忆清零
传统方案将会话上下文类比为电脑内存,对话时可直接调用,但会话结束后内存立即释放,导致用户再次使用时,智能体无法关联之前的交互内容。记忆设计的核心并非存储所有信息,而是明确哪些内容需要跨会话保留。
2. 向量库无法精准匹配精确事实
不少开发者遇到长期记忆问题时,第一反应是使用向量数据库,将所有聊天文本、购买清单、日程记录切成片段后计算向量存入。但向量检索的优势是查找相似内容,并不擅长核对确切记录,当问题需要精准命中某条记录时,相似度匹配就会成为隐患。
二、三类记忆数据分离存储
1. 结构化事实存入关系数据库
带有编号、时间戳、需要增删改的结构化事实,属于精确事实,这类数据适合存入关系型数据库,比如“周四晚上七点有客户聚餐”“已经买过蓝色夹克”“把西装加入心愿单”等,通过 add_to_wishlist、mark_purchased 等工具直接执行事务更新,读取时用精确条件过滤,避免模糊检索。
2. 动态偏好交由向量库管理
没有固定结构的动态理解,比如“用户怕热”“喜欢极简风格”“深色系让她更自信”等,这类信息需要多轮对话才能明确,适合存入向量数据库。相关配置中设定了7个提取主题,包括用户偏好、个人信息、穿衣风格等,这套设计不绑定特定云产品,核心是将规律性理解与精确事实分离。
3. 音视频仅存储提炼结果
对于多模态智能体的音视频流,原始画面和音频本身不是记忆,只需存储提炼后的结论,比如“她戴了那顶黑色帽子”“这场晚宴偏正式”,原始流的存储属于独立决策,和智能体记忆无关。
三、读写分离保障语音流顺畅
1. 会话启动前并行读取两类记忆
存储边界明确后,运行时需顺畅整合记忆,该方案将读取动作放在智能体开口前,新会话启动时,后端并行读取关系库的日程和心愿单,以及向量库的用户偏好,让智能体从开口第一秒就拥有确定性事实和概括性理解,无需用户重复说明信息。
2. 确定事实当场写入,偏好后台异步处理
写入路径分为两条:当用户发出明确指令,比如“把西装加入心愿单”,需在当前回合直接写入数据库,给用户即时确认;而风格偏好等内容,不能立刻覆盖,且提炼需要大模型,会产生延迟,在语音对话中会导致卡顿,因此后台用异步任务处理,在交互后静默提炼,保障语音流顺畅。
四、开源代码的工程取舍
开源代码为适配真实网络环境做了三处调整:
1. 替换推荐工具为正则匹配
原方案计划用推荐工具推商品卡片,后改为用正则匹配文本中的商品名,省去工具调用往返,商品数量有大小限制,避免token成本上限问题。
2. 延后音频流启动时间
早期方案计划零延迟开麦,后改为等待记忆读取完成后再开启音频,设置超时上限,保障记忆准备妥当后再交互,避免卡顿。
3. 对话状态暂存本地内存
团队选择本地内存存储对话状态,不用远程服务,避开远程延迟和连接断连问题,保障语音流稳定。
写在最后
这套开源方案的核心是拆分数据类型,不同数据用不同存储和处理方式,搭建带记忆的多模态应用时,可参考这种分层和拆分的思路,明确不同数据的存储路径和处理逻辑。

