记录的可信度,取决于它当初凭什么被允许进入系统
本系列前几篇先介绍了推理账本,再拆解了一条账本记录应当包含什么。两者共同回答了一个难题:这个决策为什么会发生,以及如何设计一条能被信任、能如实说明这一点的记录。
这引出了更深一层的问题。一条记录的好坏,只取决于它最初被允许成为记录之前发生了什么。
想象六个月后复查一次AI辅助部署,就是本系列早前推理账本记录过的那次审批。账本显示它已获批。证据看起来完整,时间戳合理,一切似乎都正确。然后你注意到,决策所依赖的其中一条“权威”政策记录,是由一次无人授权的工具运行写下的,来源本不该被当作治理依据。
事后没有任何篡改。记录是忠实的。问题出在更早之前:一次本不该被接受的写入,变成了机构记忆,下游每一个决策都继承了它。
到这一步,问题已经不再是记忆,而是准入。
只有记忆,无法创造信任
贯穿本系列,我们逐步拆分了AI系统的职责。上下文窗口负责执行。主动工作记忆负责组装上下文。持久记忆保存知识。推理账本解释并记录决策。
这些层级中,没有任何一层决定某条信息是否值得进入系统。知道发生了什么是有价值的。确保只有可信信息成为系统所知的一部分,才是让其余一切值得信任的前提。
组织很少因为记不住足够多的东西而失败。它们挣扎的原因,是无法把受信任的机构知识与累积的噪声区分开。
这正是本文要讨论的失败模式。一个接受每一次写入的持久记忆,最终会变成一座填埋场:技术上完整、可搜索,却毫无用处,因为可信记录和垃圾一旦以相同的检索优先级堆在同一个存储里,就再也无法区分。每一次低质量写入不只是占用空间。它会成为未来检索、未来推理和未来决策的候选。今天的一次坏写入,就是明天的坏上下文。
在边界处拦截,而不是在读取侧补救
直觉上会想在读取侧解决这个问题,用更好的排序和过滤。这只能在边缘上帮一点忙,却会输掉整场战争,因为等到一条坏记录参与检索竞争时,它看起来已经和其他记录一样了。更便宜也更持久的修复,是一开始就不接受它。这个决定必须发生在边界处,在写入变成记忆之前。
一种常见的架构假设是,完整性可以稍后再补。加密数据库、保护备份、限制访问。这些都有价值,但它们保护的是已经进入系统的内容,并不能判断什么该进入系统。
写入侧托管要做的,是在信息被允许成为持久记忆之前,先回答一个问题:这条写入凭什么被信任?
准入决策必须发生在存储之前
如果一条记录来自未经授权的工具运行,或者来源本不该被当作治理依据,那么无论事后如何加密、如何备份、如何限制访问,都改变不了它已经污染下游决策的事实。
写入侧托管的核心,是把“谁可以写、写什么、凭什么写”变成系统边界上的强制检查,而不是存储之后的补救措施。
这意味着系统需要在写入发生的那一刻,就核对写入者的授权状态、来源的可信程度,以及这条信息是否应当具备治理效力。只有通过核对的写入,才有资格成为机构记忆的一部分。
信任不是从存储开始的,更不是从事后审计开始的。它始于写入被接受之前的那道边界。
热门跟贴