Zilliz Cloud助力Consensus优化学术文献语义检索

同一类问题，在不同学科领域里往往有着截然不同的术语表达，这一现象常常给科研人员查找文献带来困扰。比如，针对流体在多孔介质中的输运规律，石油工程领域称之为“渗流力学”，聚焦油气驱替的效率；水文地质学中则以“地下水动力学”为名，围绕含水层渗透系数展开研究；化学工程里将其归类为“固定床流体力学”，核算催化剂床层的压降与传质效率；而在生物医学工程的组织支架研究方向，这一问题又被定义为“孔隙内流体剪切应力分布”的课题。

这类术语差异导致的检索遗漏，是科研人员寻找文献时的一大痛点，也是AI科研平台提升研究质量需要解决的核心问题之一。

在这类平台的产品设计中，所有结论都必须对应到实际检索到的论文，而非模型自身的知识库——这意味着，智能体输出答案的质量，完全取决于它能找到的相关研究的广度与深度。

为了实现精准的语义检索，平台引入了专业的向量检索引擎，目前已覆盖超过4亿条学术资源，服务于上万所高校的千万级研究人员、学生及临床工作者，累计处理超过1.5亿个科研问题，帮助用户大幅减少筛选论文、整合证据的繁琐工作。

在实际应用中，这类平台最初采用稀疏检索和BM25关键词检索，能应对大部分常规查询，但在科研场景中，研究者的提问表述与论文术语常存在差异，尤其是跨学科问题，答案可能存在于相邻领域的研究中，却因措辞不同被原有检索方式遗漏。随着平台转向Agent架构，一个研究问题往往需要拆解为多次检索，从多个角度查找论文并补充证据，这就要求每次检索都必须精准且高效。

为此，平台将检索架构升级为稀疏检索、BM25关键词检索与稠密向量语义检索并行的三路混合架构。收到查询后，智能体先制定检索策略，调用不同检索能力获取结果，再通过融合与排序形成统一证据集，最终生成对应具体文献的答案。这套流程支撑了文献综述Agent，以及用于综合呈现正反两方研究证据的相关功能。

在选型过程中，平台曾尝试使用其他检索工具，但遇到了三个关键问题：当向量数量达到数亿级别时，检索质量明显下降，需通过二进制量化压缩向量以控制规模，这会显著降低排名质量；全量重建耗时超过一天，新研究成果要延迟一天以上才能被检索到，评估新模型也需等待一天左右；若将向量维度从256提升至1024以提高精度，成本会同步增加4倍，这对于拥有数亿向量的平台来说是沉重负担。

面对业务增长与成本压力，平台需要一个专业化的语义检索引擎，经过对比测试，最终选择了一款云托管向量检索服务，其核心优势体现在三个方面：

冷热双集合架构支持每日全量重建，耗时从逾一天缩短至约一小时。不同于行业常规的原地增量更新，该服务采用双集合副本设计：一份在线提供查询服务，另一份离线待命；每天通过批量导入重建离线集合，完成后直接切换为在线服务。这套方案避免了在线服务的写入操作，无需处理数据积压或一致性问题，还能让研究人员当天获取最新发表的成果，试新模型或检索策略也无需等待，迭代效率大幅提升。

上亿条1024维向量无需压缩即可控制成本。借助该服务，平台将向量维度从256提升至1024，集群规模仅需扩大约2.5倍，远低于预期的4倍，且延迟几乎未增长。实测显示，1024维向量比256维向量的检索结果质量提升了27%，整体搜索精度提高了14%，无需压缩就能在控制成本的同时保证检索质量。

托管式服务优化了开发者体验。科研Agent的检索任务常需多次调用，要求每次检索都足够快且精准，否则多次调用会放大问题。该服务作为托管平台，提供了清晰的SDK文档与易用的管理控制台，在4亿多条向量的规模下，语义检索的P99延迟仅为45毫秒，完全满足Agent的调用需求，能挖掘到单次查询难以发现的小众文献。

未来，随着业务增长，平台将进一步深化与该服务的合作，主要方向包括：拓展更多智能体应用场景，支撑新模型的每日迭代；将元数据过滤功能下沉至检索服务，减少上层链路损耗；将论文全文纳入索引，实现更细粒度的内容匹配，提升检索结果的精准度。