文章摘要
服务超100个国家和地区、拥有超1亿首曲库的某全球音乐平台,为解决音频识曲、模糊歌词搜索、音乐推荐、版权风控等场景的检索难题,采用Milvus作为底层向量检索引擎,搭建统一检索体系,依托其弹性、稳定、高效的特性满足海量数据下的低延迟检索需求。

走在街上听到一段熟悉又记不起名字的旋律,或是脑子里盘旋着半句模糊的歌词,是很多人都有过的经历。对普通用户而言,或许只需在搜索框输入零星线索就能找到目标,但对坐拥超过1亿首歌曲、服务覆盖100多个国家和地区、拥有数亿听众的全球音乐平台来说,要顺着这些零碎信息精准定位作品,绝非简单的“搜一下”就能实现。为此,该平台搭建了一套统一的向量检索体系,将歌曲识别、模糊歌词搜索、音乐推荐乃至版权风控等业务串联起来,支撑这套体系的底层引擎正是Milvus。

海量曲库带来的多重挑战

音频识别、模糊搜索这类需求,本质上可通过向量相似度匹配实现,但当曲库规模达到1亿首量级时,落地过程会面临一系列连锁难题。传统关键词搜索对哼唱、录音这类非文字输入完全失效,换成向量检索思路后,首先要应对的是数据量的指数级膨胀:用户随手录制的几秒声音可能来自歌曲任意段落,为保证匹配精度,每首歌需被切分为大量相互重叠的短片段,每个片段单独生成特征向量——1亿首歌拆解下来,将产生数十亿条音频向量,再叠加歌词向量、各类元数据,检索基数瞬间翻了几十倍。

更棘手的是实时性压力:用户的查询需求可能是刚上线的热门新歌,也可能是几乎无人问津的冷门作品,这意味着全量曲目都需保持随时可检索的状态。平台要在数十亿向量的规模下,承接每秒数百次的查询请求,同时还要持续入库新歌,既要保证新上传的作品能立刻被检索到,又不能因为持续的数据写入、索引构建拖慢线上搜索的响应速度。这些问题,让该平台亟需一套既能扛住海量数据、稳定输出低延迟,又能兼容多种检索场景的底层向量检索引擎。

覆盖全场景的统一检索方案

针对上述需求,该平台围绕音频与歌词两套核心数据,搭建了统一的检索能力,再通过元数据将检索结果与业务规则打通,最终覆盖从找歌到推荐、风控的全链路。

针对最常见的录音识曲场景,核心是解决“片段匹配整首”的问题:平台将每首歌切分为按时间排列的重叠短片段,通过音频模型提取旋律、节奏、音色等特征生成向量序列;用户发起识别时,录音会经过同一模型转为向量,先在库中检索相似片段,再根据片段的先后时序做二次校验——当多个连续片段都指向同一首歌时,识别结果的可信度会大幅提升。

针对歌词检索场景,用户的输入分为两种:一种是准确的原句,另一种是模糊描述甚至“空耳”记错的内容。如果仅做关键词匹配,模糊输入很难命中;仅做语义检索,精准输入的效率又会打折扣。该平台的方案是在检索层同时保留歌词语义向量与BM25全文索引,一次查询同时计算字词匹配度与语义相似度,输出统一排序的结果。这一设计既让用户在同一搜索框就能得到不同类型输入的结果,也避免了研发团队为两种检索模式维护两套独立系统。

光“找到歌”还只是第一步,落地业务后还需叠加大量规则约束:比如推荐的歌曲在用户所在地区是否有播放版权,上传的音频片段归属哪一家版权方,相似推荐是否优先匹配同流派同艺人的作品等。平台将艺人、专辑、曲风、发行时间、热度、地区、版权信息等元数据与向量数据关联存储,在检索阶段通过标量过滤完成条件筛选。

在此基础上,这套检索能力还延伸到了更多业务:以用户正在播放的歌曲为基准,叠加地域、偏好等条件就能生成风格相近的推荐歌单;将用户上传的音频、视频片段切片后与全曲库比对,哪怕原作被加速、变调、翻唱,也能通过特征相似度识别,帮助平台规避版权风险。

为何选择Milvus作为底层引擎

针对以上需求与场景,该平台最终选择Milvus作为统一检索引擎,核心看中了它三个层面的适配性。

首先是规模上的弹性:作为分布式向量数据库,Milvus天然支持百亿乃至千亿级的向量规模,无需随着曲库扩张推倒重构底层架构。目前平台已沉淀了十亿级的音频片段向量,后续曲库再翻几倍,只需横向扩容集群就能承接,架构本身无需做大的调整。

其次是性能上的稳定性:平台目前采用HNSW索引承载语义检索,能在每秒数百次并发的情况下,将检索延迟控制在10毫秒左右,完全满足实时识曲的要求。更关键的是,Milvus将索引构建与在线查询做了隔离,新歌持续入库、构建索引的过程不会明显影响线上搜索的响应速度。针对不同业务的性能侧重——比如歌曲识别更看重低延迟,全库版权匹配更看重吞吐量与召回率——团队还可部署多套独立集群,按需分配资源、调整配置,互不干扰。

最后是研发效率上的优势:Milvus同时支持向量检索、全文检索与标量过滤,让平台能在同一套查询链路中兼容音频识别、歌词搜索、带条件筛选的推荐与风控等多种场景,无需为不同业务重复搭建检索底座。研发团队可将更多精力放在匹配策略优化、产品体验打磨上,而非反复搭建重复的技术底座。

以上内容不代表本平台立场,仅供读者参考