大多数RAG系统的测试方式都差不多:有人问几个问题,答案看着还行,系统就上线了。然后某份文档改了,某个分块参数被调了,没人发现检索变差,直到用户来投诉。
这类问题大部分可以在CI里拦住,靠两个检查:检索有没有找到正确的文档,答案里有没有包含该有的事实。下面这套小实现用Node内置的测试运行器跑,零依赖。
思路:先攒一份真实问题集
维护一个小文件,里面放真实问题。每个问题记下两样东西:应该回答它的那份文档,以及答案里必须出现的一个短语。再放几个"文档里根本没有答案"的问题,这类问题的正确反应是承认找不到。
之后每次改动都跑两类检查:检索检查,看预期文档是否出现在结果前列;答案检查,看最终答案是否包含必需短语,或者是否老实说不知道。
作者在AI Hive平台做开发,他的说法是:在调任何参数之前,第一件该让团队建起来的东西就是一份存下来的问题集。
代码:检索器可以换,测试结构不变
示例里的检索器是对三份文档做朴素关键词匹配,答案函数直接返回命中文档的原文。这两处换成真实的索引和模型调用即可,测试结构原样保留。
语料只有三条:退款政策(收货后14天内、未使用商品可退)、标准配送时效(境内3到5个工作日)、保修(电子产品12个月制造缺陷保修)。
检索函数先做分词,去掉停用词,按问题词与文档词的重合数量打分,取前k条且分数大于0的结果。答案函数取第一条命中,没有命中就返回"我在文档里没找到"。
测试用例共四条,三条有答案、一条没有:
- 退款问题,预期文档为退款政策,答案必须含"14 days"
- 配送问题,预期文档为配送时效,答案必须含"3 to 5 business days"
- 保修问题,预期文档为保修,答案必须含"12 month"
- "你们卖宠物礼品卡吗",预期文档为空,答案必须含"couldn't find"
第一个测试算命中率:在有预期文档的用例里,看预期文档是否出现在k=2的结果中,命中率低于0.9就断言失败。第二个测试逐条检查答案是否包含必需短语。用node --test rag-eval.test.js运行,检查失败会以非零码退出,CI任务跟着失败。
第一次运行就抓到了问题
作者第一版检索器没通过自己的测试。"你们卖宠物礼品卡吗"这个问题命中了退款文档,原因是文档里出现了"for"这个词。评估是对的:一个没有答案的问题,被自信地给出了答案。
加一份简短的停用词表就修好了。放到真实流水线里,同类故障的表现是向量索引对一个它答不了的问题返回了看似合理的结果。这种用例恰恰值得留一条永久测试。
让检查真正有意义
问题要用真实的,不要用对着文档写出来的。从客服工单或搜索日志里捞,每隔几周刷新一次。"无答案"用例必须保留,用户最难堪的失败就出在这里。
阈值要设得能自圆其说。小规模问题集上0.9的检索命中率是底线,不是目标。问题越加越多就往上抬,掉下来就让构建失败。问题文件放进同一个仓库做版本管理,改动按代码来评审——为了让测试通过而删掉一个问题,等于删掉一份bug报告。
这套检查覆盖不到什么
字符串检查只能告诉你事实在不在,管不了答案写得好不好、全不全。这部分可以每月人工过一小批样例,或者在信任之后加一个模型打分检查。先从便宜的检查做起,它们失败得快,成本为零。
放在哪里跑
测试和流水线放同一个仓库,任何触及文档、分块参数、提示词或模型版本的拉取请求都触发运行。文档不在这个仓库,就每晚跑一次。无论哪种方式,把失败的问题打印进CI日志,看到红灯的人不用打开文件就知道哪条挂了。
热门跟贴