一个嵌入向量看起来就是一串没有意义的数字。正因为如此,团队往往不再把它当成它来源的那份文档来对待,RAG 项目也就悄悄制造出没人有意设计的隐私问题。
在保险、银行这类受监管行业做数据治理多年,这是团队搭建基于内部文档的检索增强生成(RAG)助手时,最常见的一个缺口。
流水线,以及标签在哪一步丢失
一条典型的 RAG 流程是这样的:
每一步,数据都在变形。而每一步,原始的分类等级和访问权限都可能被丢掉,且没人察觉。
原则:派生数据继承敏感度
个人数据的嵌入,仍然是个人数据。派生数据继承其来源的敏感度,除非你能证明并非如此。
嵌入的存在是为了保留语义,而研究已经表明,原始文本在很大程度上往往可以从嵌入中还原出来。即便不谈这一点,检索这一步本身就把原始段落直接交回给了用户。一份机密的医疗报告,作为分块、作为向量、作为回答,依然是机密的。
向量库的四道控制
- 传递标签。每个分块和向量都携带其来源文档的分类、所有者和来源 ID,作为元数据与向量存在一起。
- 权限感知检索(安全裁剪)。按用户已有的权限过滤检索结果:用户只应拿到他在源系统里本来就能打开的那些段落。落到实操上,就是每次查询都带上元数据过滤,过滤条件由用户的组或访问控制列表构建,而不是所有人共用一个索引随便查。
- 可传递的删除。当源文档被删除、更正或到达保留期限,它的分块和向量也必须一并消失。每个向量上都保留来源 ID,才能按来源删除。
- 把日志当作敏感数据。提示词和回答日志泄露的信息可能和文档一样多。一串关于某位客户病情的提问记录,就是健康数据。对日志施加同样的分类和保留规则。
一个真实的失败场景
一家保险公司为理赔专员搭建助手。为了让回答更丰富,所有理赔文件——包括医疗报告——都进了同一个向量库,每位专员都能查询它。
在源系统里,健康险理赔专员能看到医疗报告,车险理赔专员看不到。而在共享索引里,一位车险专员提了个问题,拿回了医疗报告中的段落。没有人下载任何文件。这个泄露是架构造成的。
上线前应当具备的条件:每个分块都有标签,检索按已有访问权限过滤,删除与保留计划挂钩,日志按机密处理。还有一个问题:这个助手真的需要把医疗报告索引进去吗?很多时候,最好的控制就是不索引这份数据。
索引任何内容前的四个问题
- 我们需要它吗?助手的用途是否要求这部分内容,还是说"全都索引"只是因为省事?
- 它有多敏感?来源的分类是什么,归谁所有?
- 谁可以提问?今天在源系统里谁能看到它?助手绝不应扩大这个圈子。
- 它如何被移除?删除、更正或到期时会发生什么?
如果团队答不全这四个问题,这份内容就还没准备好被索引。
常见错误
- "向量不是数据。"把嵌入当成数据保护之外的匿名技术产物。
- 一个索引通吃。把所有东西索引一次,让所有人随便查,等于悄悄抹掉了多年积累的访问控制。
- 被遗忘的副本。删掉了源文档,却留下它的向量,助手于是继续引用一份官方上已不存在的文档。
这些都不是真正的 AI 失败。它们是数据治理的失败,而你的数据团队早就知道该怎么防。
热门跟贴