语义搜索看起来能用,直到有人在搜索框里粘进一个零件编号。向向量索引查询 HS-2841-B,返回的却是关于供暖系统的“相关”片段——因为嵌入模型把这个字符串当成模糊语义,而不是精确标识符。用 BM25 查同样的内容,通常能命中那一行,前提是分词器没有先把这串代码拆坏,而这一点恰恰没人检查。

混合检索是常见的解法:两路都跑,再把排名融合。真正有意思的工程细节藏在这句话的两端:每一路如何对你实际的语料做分词,以及如何在不凭空造出一套刻度的前提下完成融合。

词法这一侧,本质是词典选择

多数 Postgres 全文检索配置会带着某个语言配置调用 to_tsquery。默认的英文配置会做词干化、去停用词、按标点切分——这些都合理,但对标识符全是错的。HS-2841-B 会被切成若干 token,再也匹配不上用户输入的原始字符串。

一个知识平台的做法是绕开这个问题,改用 simple 词典,它不做词干化:查询用 plainto_tsquery('simple', %s) 构造,用 ts_rank(不是 ts_rank_cd)按词频对查询打分,语句带硬性的 statement_timeout——一条挂住的检索查询,比一条返回结果更少的查询更糟。

simple 词典换来精确性,也丢掉了语言处理能力:不做词干化,“retrieval”和“retrieving”就不再互相匹配。语料偏技术时这笔交易划算,语料是散文时就错了。

词典修不了的那种情况:没有空格

中文、日文、韩文在词与词之间没有空格,plainto_tsquery 会把一整句看成一个巨大的 token。不会报任何错。词法这一侧只是永远返回空,混合分数悄悄退化成纯向量相似度。

同一份代码里的绕行方案是加一趟字面匹配,匹配前先去掉空白字符:检测到查询中含中日韩字符时,用正则把空白全部删掉,再拿这个模式去做 ILIKE 扫描,与一路 BM25 风格的召回并行。它是子串匹配,不是分词器,在大表上的开销可以想见——所以它只作为若干候选生成器之一、带着自己的 limit 运行,而不是唯一路径。

这个教训不止适用于中日韩文本:如果你说不出语料是被哪个分词器索引的,你就说不出混合检索里词法那一半,在真正重要的查询上到底做了什么。在信任融合之前,拿一个产品编号和一句第二语言的话去测它。

融合,但不凭空造刻度

BM25 分数和余弦相似度处在不同的刻度上。要把它们相加就得先归一化,而归一化正是多数实现悄悄出问题的地方:在一份语料上调好的固定权重,换一份语料就失效。

倒数排名融合(RRF)绕开了刻度问题,只用每个检索器给出的排名:每个检索器贡献 1/(K + rank),于是在某个列表里排第一,无论原始分数多少,价值大致相当。K(这份代码里取 60)控制着第一名多快失去主导地位:K 小,各列表头部更具决定性;K 大,曲线被压平。

两个细节让它在生产环境里站得住。并列时按最佳原始分数打破,于是在某处排第一的候选,会压过处处排第三的候选。截断阈值施加在“相对本次查询最佳候选归一化后的 RRF 分数”上,而不是一个固定数字——否则一个最佳匹配本身就很弱的查询照样返回十条结果,检索就这样悄悄变成了随机抽样。

什么时候不该用混合检索

  • 单一语言、词形干净、文档短。单用 BM25 就够快、可解释,而且往往更好。加上向量会让索引翻倍,每次查询还多一次嵌入调用。
  • 语料小到能直接读完。几百个 chunk 以下,在一个好分词器上做线性扫描胜过两者,也更好调试。
  • 你没法评估它。融合参数、chunk 大小、阈值都有默认值,而这些默认值对你的数据都是错的。没有一小份带标注的查询集,你就是在凭感觉调参。

重排器是同一套论证的上一层:它改善列表头部,代价是每次查询都增加延迟。加之前先测量,而且要用用户真正会输入的查询来测——包括那些带编号的。

反过来看

混合的反面是刻意的简单:只用一个检索器,按语料来选,分词方式写下来并测过。见过单检索器系统跑赢混合系统,原因仅仅是有人维护了关键词索引,而没人维护融合权重。

融合不是免费的准确率。它是两种意见的平均,而平均只有在两种意见各自都站得住时,才比其中任何一个更好。