多路召回与融合策略
一句话总结
多路召回通过同时使用语义检索、关键词检索和其他检索方式获取候选文档,再通过融合策略合并排序,提升检索的全面性和鲁棒性。
核心概念
常见召回通路:向量语义检索(捕捉语义相似性)、BM25/TF-IDF关键词检索(精确匹配术语和实体)、知识图谱检索(结构化关系查询)、元数据过滤(时间、类别等)。融合策略:Reciprocal Rank Fusion(RRF,基于排名的无参融合)、加权分数融合(需调节各路权重)、学习排序(Learning to Rank,用模型学习最优融合)。
为什么重要
单一检索方式各有盲区:语义检索可能遗漏精确术语匹配,关键词检索无法捕捉同义表达。多路召回互补短板,显著提升召回率和检索鲁棒性。实际生产系统几乎都采用混合检索。
实践要点
至少结合语义检索和BM25两路。RRF简单有效是首选融合策略,公式为1/(k+rank)。各路召回数量不必相同,按各自擅长场景调整。BM25对中文需要分词预处理。利用元数据过滤缩小搜索范围提升效率。融合后可接Reranker进一步精排。
常见误区
只用向量检索忽视关键词匹配的重要性。融合策略过于简单(如直接取并集)损失排序信息。召回通路过多增加复杂度但边际收益递减。忽视不同召回通路的分数分布不一致问题。