一个客服助手告诉客户:"您有14天时间申请退款。"真实政策写的是30天。同一场演示里,它还引用了一段只有法务部门才能看的合同条款。
英文表达很流畅。问题出在它拿到的页面本身就是错的。这正是RAG(检索增强生成)要解决的问题,而它的每个阶段,各自修复的是一种不同的故障。
下面这个例子是合成的,分数是编的。它展示的是一种模式,不是基准测试结果。
思路:开卷考试
一个从没见过你文件的AI会去猜,而且猜得很有自信。RAG让它在回答之前先翻到正确的页面。查资料成本低,而且永远是最新的。重新训练则会在政策变更当天就过时。
你的文档提前归档一次,切成块,每块都标注谁可以读。之后每个问题都要经过下面这几个阶段。
各阶段,以及各自怎么坏
- 搜索。混合搜索同时按语义和精确词匹配,再把分数混合起来。
故障:精确的代码或名称找不到。语义搜索对"V-7731"这类字符串很弱。
修复:加上关键词搜索。 - 权限检查。提问者无权阅读的页面被丢弃,依据是随每个块存储的访问清单。
故障:提问者看到了不该看的页面。
修复:在构建提示词之前就过滤。AI无法复述它从未收到的东西。 - 重排序。一个更慢、更仔细的阅读器对搜索找到的页面重新排序。
故障:正确的页面找到了,但排名太低塞不进去。提示词里只能放几页。
修复:加一个重排序器。 - 写作。规则、排名靠前的页面和问题一起进入同一个提示词,AI给出回答。
故障:出现了一个任何页面里都没有的数字。
修复:要求它只根据页面回答、注明来源,并说"我不知道"。
一个完整算例
问题是:"企业版客户有多长时间申请退款?"共四个页面,分数是编的,范围0到1。只有排名前3的页面会送到AI面前。
只按语义匹配,FAQ胜出,现行政策被切掉。答案含糊,而且那个仅限法务的页面进了提示词。
改成一半语义、一半关键词:
- 现行政策:0.5 × 0.74 + 0.5 × 0.95 = 0.845
- 旧政策:0.5 × 0.82 + 0.5 × 0.55 = 0.685
- 营销FAQ:0.5 × 0.88 + 0.5 × 0.35 = 0.615
现行政策升到第一,答案变成30天。重排序器从另一个阶段得到同样的结果:它给现行政策打0.97,给旧政策打0.30。
只有权限过滤器能移除那个仅限法务的页面。
该怪哪个阶段?
按顺序检查:上架(块大小)、搜索、权限检查、重排序、写作。早期的故障会掩盖后面的故障。先读进入提示词的那些页面,因为一个错误的数字,可能来自过期的页面,也可能是AI自己编的。
几点说明
- 真实分数来自模型,真实系统还会增加步骤,比如先改写问题。
- 重排序器只能看到搜索返回的页面。如果搜索从未找到正确页面,重排序器救不回来。
- 提示词里的一条规则,比如"绝不泄露机密",是一个请求,不是一把锁。要在构建提示词之前就强制执行访问控制。
这一章配有一个交互实验,可以开关混合搜索、重排序器和权限过滤器,观察答案如何变化。大约12分钟,免费。
热门跟贴