该图片使用了AI生成技术

打开网易新闻 查看精彩图片

本文来自微信公众号: HavenlonLabs ,作者:Havenlon Labs

我们从不完全相信自己的记忆,却越来越愿意相信AI的自我汇报。这个不对称,是自动化时代最被低估的风险。

一、电梯口的那一秒

几乎每个人都经历过这个瞬间。已经走到电梯口,甚至已经开车上了路,脑子里突然闪出一个念头:门锁了吗

于是开始回忆。水关了吗?煤气关了吗?有人会折返,上楼,推一下门——锁着的。什么都没出错。

真正消失的不是动作,而是动作留下的证据。

这件事看起来微不足道,却指向一个足够严肃的命题:执行,和能够证明执行,是两件不同的事。而现代商业世界正在以前所未有的速度,把大量执行权交给一类同样无法自证的系统。

二、这个现象有一个学名

先把科学依据说清楚,因为它比"我记性不好"这个民间解释精确得多,也重要得多。

认知心理学里有一个专门的概念叫输出监控(output monitoring),由Koriat、Ben-Zur与Sheffer在1988年一篇题为《把同一个故事讲两遍》的论文中提出。它指的不是记住要做什么,而是记住自己已经做过什么——对自身已完成动作的记忆。

这个能力独立于智力,也独立于计划能力,并且它会失败。在前瞻记忆研究中,输出监控失败被划为两类错误:遗漏,以及重复执行(commission error)。后者在现实中最常见的形态是重复服药。研究文献里反复出现的例子就是老年人double dosing——不是忘了吃药,而是忘了自己已经吃过。

为什么这个能力如此脆弱?至少有三层机制,都有实验支撑。

第一层是自动化。锁门、关灯、系安全带,这些动作重复过成千上万次后会转入程序性记忆,不再需要意识资源参与。动作执行得越可靠,留下的情景记忆越稀薄。顺便说一句,网上流传的"自动驾驶效应"不是学术术语,真正的机制是自动化(automaticity)加编码失败:注意力从未真正落在那个动作上,因此没有生成可供日后检索的细节。

第二层是中断。前瞻记忆负责"记住未来要做的事"。执行过程中电话响了、有人叫你、来了一条消息,注意力被切走,动作往往仍然完成了,但"任务已完成"这个状态没有被成功写入。实验显示,分散注意力会显著增加重复错误。

第三层是相似情景之间的干扰。今天锁门、昨天锁门、前天锁门,情景高度雷同,彼此覆盖。留下的只是一种模糊的熟悉感:"我记得锁过门"——但不知道是今天,还是昨天,还是刚才只在脑子里想了一遍。这属于来源监测问题,近年也有研究把它归为重复性检查任务中的前摄干扰。

这三层加起来,指向同一个结论:重复让执行越来越稳定,却让记忆越来越模糊。

至于常被引用的蔡加尼克效应——未完成的任务记得更牢——需要一句诚实的说明:它的原始记忆优势在后续重复实验中并不牢固。真正站得住的是"目标激活"这一部分:一个尚未关闭的意图会持续占用注意资源、产生侵入性念头。而Masicampo与Baumeister在2011年的研究给出了一个关键补充:解除这种占用并不需要真的完成任务,只需要形成一个足够具体可信的计划。

也就是说,让大脑放手的不是完成,而是完成的凭据。

三、一个反直觉的实验:越检查,越不信

现在来看这篇文章里最重要的一项证据。

2003年,van den Hout与Kindt设计了一个虚拟煤气灶任务:让被试在电脑上反复打开、关闭并检查炉灶。结论违反常识——反复检查并不会增强记忆信心,反而系统性地削弱它。被试的回忆变得不生动、缺乏细节,对记忆的信心显著下降。

这不是一次性结果。后续一项汇总28项实验、共约1662名被试的元分析确认,重复检查对记忆信心、生动性和细节度的削弱是大效应量;并且意外地发现,它还轻微降低了记忆的准确性。

机制解释同样清晰:反复检查提高了对被检查对象的熟悉度,熟悉度推动认知从知觉加工转向概念加工,而概念加工抑制了知觉细节的编码,于是回忆变得空洞,进而催生不信任。

这个发现值得管理者反复咀嚼,因为它的含义远超临床心理学:

同一个主体的重复自查,不生产信任。它消耗信任。

一个系统反复检查自己,得到的不是更高的确定性,而是更少的可用证据——因为它每一次检查都在降低自己对这件事的知觉敏感度。这条规律对人成立,对由同一套权重、同一套先验驱动的AI自我校验,没有理由不成立。

四、为什么"拍一下门"其实是对的

很多人有自己的小仪式:锁门后拉一下门把手,用手机拍一张照片,或者出声对自己说一句"锁好了"。

常被误解为强迫症。多数情况下并不是——这是一种朴素但有效的工程行为。

他们真正需要的不是再锁一次门,而是制造一条新的、独立的痕迹。门把手传来的阻力是触觉证据,照片是外部记录,出声的那句话是语音行为。三者的共同点在于:它们跳出了那个已经自动化的动作序列,重新调动了注意力。

这一点在实验中得到了印证:当前瞻记忆任务中的执行动作被设计得更复杂、更有辨识度时,重复错误显著减少。更独特的动作留下更丰富的记忆痕迹。

人类真正需要的从来不是更好的记性,而是更好的凭证。

五、工程界早就投降了

值得注意的是,在高可靠性行业里,"依赖记忆"这条路早就被彻底放弃了。

航空不依赖飞行员记得放下起落架,它有检查单、有读回、有告警。银行不依赖柜员的印象,它有流水、有对账、有双人复核。数据库不相信一次写入"应该成功了",它有事务日志、有两阶段提交、有幂等键、有校验和。核电站的操作规程里,"我确认我做过"从来不是一个合法的状态来源。

这些制度的共同前提是一句几乎冷酷的判断:执行者的自我报告,不是证据。

工程的全部本质,就是把"我记得"替换成"我能证明"。

六.AI面对的是同一道题

今天的模型能规划任务、调用工具、连续执行几十个步骤。于是一种默认信念正在企业内部悄悄成型:AI不会忘事。

这个信念抓错了重点。真正的问题从来不是它会不会忘,而是——它能否证明自己已经完成了什么。

付款真的发出去了吗?数据库那一行真的更新了吗?设备真的执行了那条指令,还是只返回了一个成功状态码?那个权限真的撤销了,还是撤销请求超时后被重试了两次?

这些都不是推理能力的问题,而是状态一致性的问题。而智能体的处境比人类更糟:它同时具备人类那三层脆弱性的机器版本——上下文里的历史会被截断(编码失败)、多步链路中会被新信息切走注意力(中断)、几十轮高度相似的操作彼此难以区分(干扰)。此外它还多了一项人类没有的风险:它可以极其流畅、格式正确、语气自信地报告一件并未发生的事。

智能负责寻找答案,状态负责证明答案已经发生。这两件事永远不该由同一方担保。

七、最危险的一次信任迁移

这里出现了一个耐人寻味的不对称。

对自己,人类从未真正信任过记忆。我们会折返检查门锁,会拍照,会写清单,会让别人复核。我们在几万年的经验里学会了一件事:主观确定感不是可靠信号。

但面对AI,很多组织的默认态度却是:模型说完成了,那就完成了;返回成功,那就成功了。

与此同时,AI拿到的权限在迅速扩大——直接动用资金、直接修改生产数据库、直接发布代码、直接驱动设备。权限在涨,确认反而在减少。

人类每天都在怀疑自己有没有锁门,却越来越少怀疑AI有没有真正执行。

这可能是自动化时代最昂贵的一次认知迁移。它昂贵的地方在于:它不会立刻出事。它会先带来几个月漂亮的效率数据,然后在某个没人复核的环节,一次性把账还清。

八、可以落地的部分

如果把认知科学的结论翻译成制度,大致是几条:

第一,执行凭证必须来自被操作的系统本身,而不是执行者的汇报。智能体说转账成功不算,账户余额变化才算。这是外部真值源,等价于人类的"拍一张照片"。

第二,为所有不可逆操作设计幂等性。输出监控失败在人身上表现为重复服药,在智能体身上表现为重复付款。解决办法不是让它记性更好,而是让重复执行在系统层面无害。

第三,不要让同一个模型既执行又验证。这不是对AI的不信任,而是那项重复检查实验的直接推论:自查不产生新证据。验证必须来自不同的方法、不同的路径,最好是不同的实现。

第四,要求系统持续回答三个问题:我做了什么,我为什么这样做,我如何证明它已经发生。第三个问题最常被忽略,也最难事后补上。

结语

我们回头检查门锁,不是因为不相信自己。而是因为在漫长的经验里,人类已经隐约明白了一件事:

记忆本来就不该承担证明现实的责任。

AI会继续变强,上下文会更长,推理会更深。但没有一种智能能够仅凭自身,证明外部世界已经发生了改变。这不是能力问题,是逻辑问题。

因为在现实世界里,说错一句话可以重新生成,做错一件事往往无法撤回。

执行会完成,记忆会消散;只有证据能够穿越时间。

本内容由作者授权发布,观点仅代表作者本人,不代表虎嗅立场。如对本稿件有异议或投诉,请联系 tougao@huxiu.com。