做RAG demo的时候,一切都很美好。用户问什么,系统答什么,流畅得像在聊天。但一上线,噪音数据、奇葩查询、流量峰值轮番轰炸,这套系统就开始表演什么叫"慢性死亡"。
最讽刺的是,团队往往第一时间怀疑模型。换GPT-4,上Claude,调prompt调到凌晨三点——却没人看一眼上游的chunking逻辑是不是把表格拆成了乱码,或者索引已经三天没更新。这有点像病人发烧,医生却一直在换退烧贴,死活不查是不是肺炎。
原文把真相摊得很清楚:「A production RAG system is a data system first.」翻译成人话就是,别把它当AI工程,它是数据工程穿了件AI马甲。检索管道、数据质量、元数据过滤,随便一个环节崩了,模型再聪明也是对着空气输出。
生产环境的RAG不是"模型+搜索插件"的简单加法。它是十几个紧耦合组件串成的链条,每个都有自己的故障面。chunk策略、嵌入模型、向量数据库、重排序逻辑、缓存层——任何一截生锈,整条链子就卡死。
那些花几周调prompt的团队,最后发现答案藏在一份没人维护的元数据表里。这大概是AI时代最昂贵的错觉:以为买了API就买了智能,却忘了数据 pipeline 才是那个沉默的买单人。
热门跟贴