写了76篇文章,却记不清哪个数字在哪一篇里。这是不少长期写技术博客的人都会遇到的处境。一位作者为此做了一个小工具:从自己的文章里回答问题,并给出答案所在段落的链接。所有模型相关的环节都跑在DigitalOcean Inference上,包括向量化、重排序和负责写答案的模型,代码放在oceanforge/post-search。
工具本身不难。他真正想搞清楚的是:在这个规模下,每个环节到底值不值。第一个问题就是,向量检索能不能打赢纯关键词搜索。
整个流程并不复杂。工具通过dev.to的API下载全部文章,按##标题切分,得到664个段落。每个段落连同文章标题和小标题一起做向量化。提问时走三步:先把问题向量化,取最近的20个段落;再用bge-reranker-v2-m3重排序这20个;最后把前5个交给Claude Haiku 5.5,让它只依据这些段落作答,并按编号引用。
没有向量数据库。664个向量直接放进内存,一次矩阵乘法加排序,在他的笔记本上大约16微秒就能找到最近的段落。全部段落向量化约消耗18万token,用哪个模型成本都不到一美分。
为了测检索效果,他需要答案已知的问题。他随机挑了60个段落,让Sonnet 5.5为每个段落写一个问题,要求按没读过文章的人的口吻来问,且不能复用段落里的特征词。这条规则很关键:照抄原文措辞的问题,会让关键词搜索显得比实际更强。此外他还加入了8个读者在评论区留下的、单独看能成立的真实问题。对每个问题,他检查来源文章是否排在第一位。
结果有点反直觉。完全不用模型的纯BM25,在60个问题里有50个把正确的文章排在第一位。两个向量模型都是55个。在几百个主题各异的段落上,大多数问题与正确文章共享的词汇已经足够多,关键词搜索就能找到。
两个向量模型打成平手,尽管qwen3-embedding-0.6b每token的价格是另一个的两倍。重排序器在第一轮最弱的地方帮助最大:它把BM25从50提到56,几乎追平最佳组合;而bge-m3加不加它都停在55。最佳配置是qwen3-embedding-0.6b加重排序器,首位命中57个,前5名覆盖全部60个。至于常被推荐的BM25与向量混合方案,并没有提升首位命中,但把每个正确文章都送进了前5,而这正是作答环节需要的。
读者提的问题,才是向量检索显身手的地方。有人在一篇讲零停机部署的文章下问:“那如果我用的是LB controller,排水还会发生吗?”BM25把正确文章排在第15位。问题依赖“LB controller”这个说法,而文章从没出现过“controller”,“LB”也只出现两次。所有向量模型都把它排到了第一。
有些“失手”其实不算失手。一个生成的问题问为什么pkill -f会杀掉它自己所在的shell。他犯过同样的错,并在四篇不同的文章里写过,所以返回另外三篇之一并不算错,只是没对上他的答案键。一个作者的文章集,重复程度比他预想的高。
作答环节,在最佳检索结果面前,Haiku 5.5在60个答案里有58个引用了问题来源的那篇文章。当段落里没有答案时,它会直接说明。有读者问Redis的BGSAVE在真实数据集上要跑多久,文章从未涉及,答案就指出这些段落没有提到,然后停住。
真正值得警惕的失败,来自冲着他本人提的问题。有读者在Droplet快照那篇文章下问:“你试过把Postgres的synchronous_commit关掉的场景吗?”答案以“是的”开头,接着描述的却是另一篇文章——那篇对比Postgres和MongoDB的文章里,托管Postgres确实关掉了synchronous_commit。每一句都是真的,但对读者实际问题的回答是“没有”。一个用第二人称“你”提问的问题,会被匹配到任何他做过类似事情的文章上。
68个问题全部作答花了0.037美元,平均每个约0.0005美元。找段落的中位耗时1.4秒,大头是两次网络调用:问题向量化和重排序。写答案的中位耗时4.2秒。
整个项目的推理开销,包括所有测试运行,合计约16美分。其中一半以上是Sonnet 5.5写那60个测试问题花掉的。工具本身运行几乎不花钱:重新向量化全部内容不到一美分,一个问题约0.0005美元。
他也列了自己判断错的地方。他本以为BM25与向量混合会胜出,结果它的前5最好,但首位命中并不比单用任一向量模型更高。第一次下载中途报JSON错误,是dev.to限流了,而代码把拒绝响应当成JSON来读,现在抓取器会退避重试。第一个答案在单词中间断掉,他调高token上限重跑就正常了,之后68个答案里再没复现,所以说不清原因。仓库第一次CI运行则失败在他自己工作流文件里的引号写法上,还没跑到测试。
这些结论有边界:这是一个作者的76篇文章,主题相对分散,对搜索来说是简单场景;60个测试问题由模型根据被打分的段落写成,有些保留了Temporal这类没有更通俗说法的产品名,对关键词搜索有利;8个读者问题太少,不足以给方法排名;每种方法只跑了一次。
他给出的经验是:小规模集合先试BM25,这里它六次里有五次把正确文章排在第一;如果要加一个模型,就加重排序器,它补上了关键词搜索的大部分差距,每个问题约三千分之一美分;便宜的bge-m3和贵一倍的那个表现一样;留意带“你”的问题,它们问的是某篇具体文章,另一篇里的类似工作会被当成答案;不到一千个段落,不需要向量数据库,内存里的一个NumPy数组就够了。
热门跟贴