概念验证阶段跑得好好的RAG,一进真实企业环境就彻底失灵。原因不神秘,四个环节各埋了一个坑,每个坑都有对应的专业修法。

打开网易新闻 查看精彩图片

坑一:垃圾进,垃圾出。基础RAG会直接翻原始文件——PDF、扫描件、没格式的表格。页眉页脚、表格里零散的单元格被当成一整块文本塞进去,数据库很快被"垃圾"污染。修法是搭一条数据布局解析流水线,用OCR和文档智能工具清洗数据、识别表格、把格式摆正。

坑二:切块切断了上下文。基础系统按固定字符数切分,一张报价表或一句关键政策条款可能被拦腰截断,数据直接作废。修法是语义切块或层级切块,按上下文的自然断点、文档标题或句子来切。

坑三:只会向量相似度搜索。用户查一个错误码、零件号或政策条款,向量检索常常忽略这个具体词,返回一堆不相关的内容。修法是混合检索加重排:向量搜索搭配传统关键词搜索(BM25),既抓意图也抓具体ID,再用重排算法给结果打分。

坑四:没有访问控制。基础RAG把所有公司文档塞进一个大索引,初级员工问一句公司薪资或高管邮件,AI照单全收。修法是文档级访问控制(ACL),检索系统必须核对用户在企业环境里的查看权限。

落到工程上,切块策略对系统准确率的影响往往比嵌入模型或大模型本身还大。生产环境的常见建议是:递归或结构化切块,块大小300-512个token,重叠50-100个token(约10-20%);用父子块保留结构;技术文档别把代码和解释拆开,法律政策别把条款拆开;先量出基线表现,再考虑语义切块或大模型切块。

检索侧已经越过纯向量搜索。混合检索(稠密加稀疏/BM25)能同时提升召回和精度,遇到带具体ID、生僻词或行话的查询尤其明显。做法是先用混合检索拿到更大的候选集,用元数据过滤控制权限和新鲜度,再用交叉编码器对头部候选重排——加一个重排环节,准确率收益明显,延迟增加有限。

查询不该一视同仁。生产系统会做分类路由、查询扩展(HyDE式或多查询)、多索引多工具,以及"我不知道"的兜底场景。复杂的多跳或对比类查询可以用轻量智能体模式,但要等检索本身跑顺之后再上,智能体模式成本不低,得算清投入产出。

生成环节要用有依据的提示词,约束大模型只使用上下文里给出的信息,并要求它标注来源;引用要结构化,且能回溯到检索到的块。输入输出都要有护栏,做PII和越界检测。条件允许就上多模型:简单查询用便宜快的模型,复杂综合用强模型。生成过程要可审计。

评估和可观测性上,测不了就改不动。可用RAGAS等工具测上下文精度/召回、忠实度、相关性、延迟(P95)、引用和用户信号,把评估接进CI/CD自动化,准备一套真实问题的黄金集,生产环境用大模型裁判加人工抽查监控样本,整条流水线做分布式追踪,方便定位坏答案出在哪一环。常见目标是忠实度0.85-0.90以上、上下文精度0.75-0.80以上,延迟控制在可接受范围。

安全与治理决定这套系统能不能被信任:检索阶段就限制文档和块的访问,做好多租户、加密和审计,谨慎处理PII,支持删除,知识要可追溯。原有的数据漏洞在生产环境会被放大,访问控制必须早做——基于元数据过滤,确保用户只能看到自己有权限的文档。

规模化阶段,最好的基础设施和缓存机制往往比换最新模型更能压延迟:共享和复制向量索引,注意分片和复制方式,避免语料增长拖慢响应;用语义缓存和热门查询缓存压token成本;采用多模型架构;在频繁重建索引和数据新鲜度之间找平衡;从第一天就按可观测性来设计,扛得住高并发和冷启动。

落地建议分三步走:

  1. 打好基础:锁定一个具体用例,清洗数据,建一套50到100+条问答的测试集,把切块策略和元数据标签调到位。
  2. 准备上生产:改进检索,上混合搜索和重排,加安全屏障、访问限制、引用和模型防护,配好监控。
  3. 再谈优化:基础稳了再加查询改写、层级检索、多模态和有限的智能体方案。

一套扎实的生产级RAG带来的是复利式收益:专家响应更快、支持工单减少、合规性改善、员工离职后知识仍留在公司,还能成为搭建更高级AI智能体的跳板。