零基础后端工程师:搭建本地搜索推荐系统实操

如今,搜索和推荐功能已成为各类互联网产品的基础配置——内容平台需要站内搜索和个性化推荐,电商平台要实现相似商品推荐,社区需要匹配兴趣相近的用户,就连内部知识库也常需同时支持关键词检索和语义匹配。不过,并非每个团队都配备了专职的搜索推荐工程师,这类需求往往会落到缺乏相关经验的后端开发人员身上。本文正是为这类团队准备的系列指南,将从本地系统搭建开始,逐步实现完整的搜索推荐服务。
本系列共分为四篇:第一篇将完成本地系统的搭建,实现关键词搜索、语义搜索、个性化推荐和相似用户查询,并配套简单的演示页面;第二篇会讲解如何接入 Milvus 集群,处理远程读写、数据一致性、租户隔离和监控等问题;第三篇则会聚焦推荐效果的验证与优化,包括建立评测体系、加入物品共现召回,以及评估融合与精排是否需要上线。
部署前准备
在开始实操前,需确保本地环境已安装 Python 3.10 或更高版本,且 Claude Code 可正常使用。建议在一个空项目目录中启动 Claude Code,所有后续代码和数据都将存放在该目录下。
需要安装的基础依赖包括 FastAPI、Uvicorn 和带 Milvus Lite 的 PyMilvus,具体安装命令可参考相关工具文档;后续加入语义检索时,还需额外安装 sentence-transformers。演示数据将使用 MovieLens-1M 数据集,包含约一百万条电影评分、六千多名用户信息,以及电影标题和类型数据。若需替换为商品、文章等其他业务数据,只需调整物品文本、用户行为和过滤规则即可。
架构设计解读
搜索、推荐和相似用户查询可共用一套存储与服务,仅查询方式不同即可。常规的关键词搜索会通过 BM25 算法匹配文本内容,语义检索则会将查询和物品文本编码为向量,再通过向量相似度匹配找到相关内容;个性化推荐会基于用户历史行为生成兴趣向量,再用该向量查询物品;相似用户查询则会用用户兴趣向量查找其他兴趣相近的用户。
围绕这三类需求,整体架构设计包含两个核心集合:items 集合存储物品(如电影)及其向量,users 集合存储用户的兴趣向量。语义搜索将查询文本编码为向量后查询 items 集合,推荐功能用用户兴趣向量查询 items 集合,相似用户查询则用用户兴趣向量查询 users 集合。其中,BM25 算法用于关键词搜索,处理片名等明确文本匹配,无需依赖嵌入模型,可单独实现。
实操步骤
Step 1: 实现 BM25 关键词搜索
第一步先完成关键词搜索功能,暂时不加载嵌入模型,这样可先验证数据写入、查询和过滤逻辑,避免数据问题与模型问题相互干扰。BM25 的稀疏表示由 Milvus 的原生函数生成,应用只需提交文本,无需自行计算稀疏向量。
items 集合需包含 id、text 和 sparse 字段:text 字段需开启分词分析,根据文本内容生成稀疏向量;sparse 字段由 Milvus 的 BM25 函数自动生成。分类、年份等业务字段将通过动态字段随记录保存,用于后续的过滤验证,这样可先确认搜索与业务条件过滤能否协同工作。
Step 2: 加入物品向量与用户兴趣向量
接下来为 items 集合添加 dense 向量字段,并创建 users 集合存储用户兴趣向量。用户兴趣向量通过其历史交互物品的向量均值预先计算生成,推荐时读取该向量查询物品,相似用户查询则用该向量查找其他用户。
初期可使用哈希编码方式:将文本词映射到固定维度的向量并归一化,无需下载模型即可验证编码、写入、检索和历史排除逻辑。为便于后续模型切换时识别,本例使用 512 维向量,与常见的 384 维小模型区分开。同时,会补充推荐、相似用户、画像查询等接口,用于查看用户状态和选择演示对象。
Step 3: 导入 MovieLens 数据并替换为真实模型
当基础接口跑通后,可将演示数据替换为 MovieLens-1M 数据集,让每个用户都拥有实际的评分历史。数据准备与导入将分为两步:先通过脚本下载 MovieLens-1M 并转换为物品和用户 CSV 文件,再通过导入脚本将数据写入集合,并生成用户兴趣向量。
电影文本使用标题加类型的组合,用户数据会保留评分不低于 4 分的最近 50 部电影,快速生成用户画像。此时推荐和相似用户功能仍使用哈希向量,后续需替换为真实嵌入模型。可通过环境变量切换到 sentence-transformers 后端,加载本地预训练模型,启动时会自动重建集合以适配新的向量维度。
Step 4: 搭建简单演示页面
最后可配套一个简单的网页,将搜索、推荐、相似用户查询和物品写入功能整合在一起。页面的作用是让输入与结果更便于对照:查看推荐时可看到用户历史,搜索时可明确当前模式,写入失败时能直接发现问题。无需引入复杂的前端框架,只需实现基础的交互逻辑即可,方便截图演示和验证功能。
完成本地系统搭建后,新添加的内容无需重新训练模型即可直接进入搜索和推荐流程。重启服务后,数据会持久化存储,形成完整的本地演示闭环:电影可写入和检索,用户历史可生成兴趣向量,同一份兴趣向量可用于推荐和相似用户查询,页面可直观展示整个流程。若需替换为自身业务数据,可沿用当前接口,调整物品文本和用户历史,验证输入和过滤逻辑是否符合业务需求。

