【留美学子】第3900期
13年国际视角精选
仰望星空·脚踏实地
【陈屹视线】教育·人文·名家文摘
让认知 永远快人一步
AI的未来：提高Transformer精度，也极难走到理解
——证伪边界与最终否决权，究竟难在哪里
作者：刘丹（DAN LIU，谷主）
【作者声明】
本文是 Transformer 系列文章的第二篇。
第一篇，我写了《AI的未来，会被Transformer绑架吗？》。结论是：如果AI继续走Transformer这条路，概率游戏有精度上限，靠把概率游戏玩得越来越精，可以造出越来越强的工具，但走不到理解。在那条路径上，只有两个诚实的出口：要么换纸重画，要么重新定义AGI。
但第一篇留下了一个问题，没有回答：
如果分流会出错，错误会被递归，那在每个节点上都设证伪边界，不就行了？
这篇文章，回答这个问题。
【导论】
第一篇写完之后，我收到不少反馈。其中最集中的一条是：
“你说概率游戏有上限，这我认。但你说它走不到理解，是不是太绝对了？如果我们在每个环节都加上验证器，一层一层地校验，不就能把错误拦住了吗？”
这个思路，听起来很合理。工程上，我们确实会加校验、加冗余、加监控。交易系统里，每一笔订单都要过风控，每一个状态都要对账。加得越多，系统越稳。
但问题是：验证器本身，也是系统的一部分。它也会出错。那谁来验证它？再加一层？再出错呢？再加？
就在我写这篇的时候，马斯克在All-In峰会上提了一个建议：主要AI公司在模型发布前相互开放API，让竞争对手来测试彼此的模型。他说了一句话——“你不能给自己的作业打分。你总会漏掉一些东西。”
这个方向，是对的。它承认了：验证权不能完全留在系统内部。
但它还差一步。
竞争对手，也是系统的一部分。他们共享同一套目标函数——都想赢、都想估值、都想抢先。让他们来验证，不是“外置”，是“换了一个屋里人”。
所以，真正的“外置”，不是换一家公司来当裁判。是职能位置上，不与被验证的系统共享同一套目标函数。
这就是这篇文章要讲的事。
这篇文章要回答的，不只是“谁来验证”，还包括一个更具体的问题：
那个拥有最终否决权的人，凭什么按下那个键？
一未知的未知：为什么证伪边界会失效
证伪边界，对“已知的未知”是有效的。你知道风险可能从哪来，知道什么情况算失效，所以你提前画一条线，触发就核实是否换纸。
但如果你面对的是一个真正未知的错误呢？
大小不可控，形态不可控，触发条件不可控。它不是“你预料到的那个错”，而是“你根本不知道它会以什么样子出现”。
那证伪边界就没用了。
不是因为它不够硬，是因为它在定义上就失效了。
第一，任何边界的前提，都是你先验地知道“什么样算错”。如果你连错误长什么样都不知道，检测机制看着它，只会觉得“这不是我认识的错误”，然后放它过去。
第二，未知错误最可怕的地方，是它会绕过边界，而不是撞破边界。防火墙没报警，不是因为它失效了，是因为它被绕过去了。
第三，边界的颗粒度决定盲区。设在token级、段落级、系统输出级，都有各自的缝隙。细了跑不动，粗了拦不住。
所以，真正的问题已经不是“能不能把边界画得足够严密”，而是：当你不知道边界之外还有什么时，谁有权说“这已经不可信了”？
那怎么办？
只有一层一层往下退。
第一层，证伪边界失效，退到承重墙——不问错在哪，只问状态还在不在安全边界内。
第二层，承重墙失效，退到换纸——不问状态怎么崩的，直接推翻旧图纸，重画一张。
第三层，换纸也可能换错。所以重画的图纸上，必须预置另一套并行机制——这就是对冲。
那如果连“状态崩溃”都检测不到呢？系统正以看似正常的方式运行，行为已经悄悄漂移到了危险值——这就是静默失效。到了这一步，任何机制在理论上都可能失效。
但这里必须说清楚，静默失效最阴的地方，不是它胡说。是它说得越来越顺。
漂移期的输出，语法更顺、措辞更自信、引用更像样——因为它正在用自己刚污染过的状态，把下一轮包装得更体面。
所以静默失效的凶，不在“错”，在“错得越来越像对”。
最诚实的工程态度，不是把承重墙吹成万能盾牌，而是承认：任何防御机制，都有它防不住的东西。
你能做的，只是让系统在失效的时候，死得慢一点，留下足够多的残骸，让人能复盘，然后换一张全新的纸，重新开始。
这一点，BRASS给过一个答案。
BRASS在崩溃之后能重建，不是因为它没崩过。是因为它保存的是可验证状态——残骸本身是完整的。订单、持仓、排队位置、还没处理完的上下文，全都在。
递归AI也一样。
加速策略的全部正当性，在于系统崩溃时留下的必须是可复盘的残骸，而不是一片白地。
撞墙不可怕。撞完连墙渣都看不见，才可怕。
二验证的成本：为什么不能完全内化
有人会说：那就在每个节点上都设一道证伪边界，不就行了？
这个方案，逻辑上成立。工程上不成立。
因为它的成本结构，是无底洞。
第一，如果你要求验证系统对主系统的全部关键判断都拥有同等深度的独立验证能力，那么它的复杂度和成本，就不可能无限压低。
第二，证伪系统本身也是概率系统。它也会出错。那谁来证伪它？再建第三套？第四套？
第三，这套系统建得越复杂，它本身的未知错误就越多。防御的代价，会超过防御的收益。
这就是验证在工程上的无限递归：验证器需要被验证，验证验证器的系统又需要被验证。
有人会说：那就在系统内部，最后画一条线，规定一个“可信根”，不再往下追问。数学有公理，软件有硬件信任根，工程系统也可以规定某些不可再验证的边界。
这个方案，在封闭系统里成立。
但这里讨论的，不是一个封闭系统。
这是一个持续与开放现实交互、持续改变自身状态、甚至参与自身下一代构建的系统。它的状态在变，它的目标解释在变，它用来判断“什么算对”的标准，也可能在变。
在这种系统里，“可信根”本身也必须面对现实验证。否则，它验证的不是正确，它验证的只是自己定义出来的“正确”。
所以，验证权必须外置，不是因为逻辑上的必然，是因为工程上的必要。
一个系统如果永远把最终验证权封闭在自己内部，它最终验证的，其实只是自己定义出来的正确性。
最后那一票否决权，必须留在外面。
有人会说，沙箱不是管住了没有出口的软件吗？是。但沙箱的代价，是切断它和外部世界的一切连接——那个软件什么都做不了。一个通用AI系统，不可能接受这个代价。
不是因为外部验证者一定比系统聪明，而是因为它处在系统之外。
三外置之后：那个否决者凭什么按下那个键？
验证权外置了，下一个问题马上来了：外置的那个否决者，凭什么按下那个键？
他需要一个可执行的触发条件。就像交易系统里的风控，不能靠“我觉得”，必须靠一个硬指标。
但这个硬指标，不是凭空设的。它必须画在一张事先画好的图上。
这张图，是对整个系统运行路径的总体预测——不是预测价格终点，是预测节奏顺序、路径分岔、以及每个节点上“什么情况算失效”。
图上要有三样东西：
第一，每个节点的证伪条件。这个节点走到什么状态，就说明它已经失效了。
第二，每个节点的承重墙。这是安全边界。
第三，换纸的条件。
这里必须说清楚一件事：证伪边界被触发，不是“出错就换纸”。
它触发的动作，是重新核实。
核实什么？核实当前状态，和事先画好的图纸，偏差有多大。
核实的结果，有两种：
第一种，局部偏离。图纸还成立，只是某个节点的参数错了。这时候是修图，不是换纸。证伪边界被触发，只是提醒你：这里需要重新看一眼。
第二种，前提失效。不是某个节点错了，是整张图的前提错了。这时候，承重墙被击破，才是换纸。
所以，证伪边界的作用，不是“触发换纸”。它是触发核实。
核实，是证伪边界和承重墙之间的那个中间环节。没有核实，证伪边界就变成了随便触发的警报，承重墙就变成了随便设的数字。
链条是这样的：
证伪边界被触发 → 重新核实（对比图纸）→ 判断是局部偏离，还是前提失效 → 局部偏离：修图；前提失效：承重墙击破，换纸。
而这张图纸，是整个机制的前提。
没有图纸，证伪边界就是一条随便画的线，承重墙就是一个随便设的数。有了图纸，证伪边界和承重墙才有依据，核实才有标准，修图和换纸才有区分。
但核实本身，也不是一件简单的事。
即便你画好了图纸，设好了每一个节点的验证边界，一旦某一个节点验证失败，你仍然要面对一个无法回避的问题：下一个节点在哪里？如何验证？当下判断是什么？
举个具体的例子。
一波下跌走势，你图上画的是：在某一个价位附近建平台。
实际走势确认了，确实在往平台方向走。然后，出现了平台扩展。
平台扩展，和你画的图有差异。走势并没有见底反转，也没有继续下跌。
那你的当下判断是什么？
这是不可能提前预测的。因为平台扩展的形态各异，上下运动的力度与幅度，是不可能完全分类的。
即便形态能够完全分类，仍然有一个当下判断的难题：应该是哪一种形态？
又是一个概率游戏。
所以，核实并不能靠一套规则一劳永逸地解决。它最终要落回到那个最原始的东西上：当下判断。
而当下判断，只能来自实战。实战，只能来自真金白银的代价。
这也是为什么，AGI的设计者，不能只是一个数学家和工程师。他还得是一个操盘手。
有人会追问：那画图纸的人，凭什么不被自己的利益绑架？换个外置的人，不还是屋里人？
所以，“外置”不是指“换一家公司当上帝”。它指的是：职能位置上，不与被验证的系统共享同一套目标函数。
它可以是开源社区，可以是监管沙盒，可以是一组不拿模型分数发薪的审计节点，甚至可以是一套物理上不可被系统改写的状态账本。
关键不在“谁的人”，在他的奖惩不挂在系统指标上——系统刷分刷得再漂亮，他的饭碗不因此变稳。
这就是“外置”的工程定义。
但这里还有一层，必须接上。
制度性的外置——开源社区、审计节点、监管沙盒——是脚手架。它把验证链一路铺过去。
但脚手架本身，也需要一个终端节点。它最终必须锚在系统无法改写的物理事实上。制度安排只负责把链铺到那里，物理锚点负责收口。
没有物理锚点的制度外置，最后会变成另一种屋里人。
四
AI的硬指标是什么？
交易系统里，有一个最简单的硬指标：亏损-10%，强制平仓。
这个指标有几个特点：
第一，它是物理量。不需要解释，不需要判断，到了就是到了。
第二，它是事前设定的。不是盘中临时决定。
第三，它是独立于系统状态的。不管市场怎么解释，-10%就是-10%。
第四，击穿即执行。
那AI系统里，什么能当这个-10%？
候选有几个：置信度低于阈值、输出落在分布外、与外部真值锚点持续不一致、行为偏离预设射程。
但这些，都是软的。
置信度可以被系统自己重新校准。分布外可以被系统自己重新定义。外部锚点可以被系统自己解释。行为射程可以被系统自己调整。
它们都需要“判断”，都是需要解释的东西。而真正的承重墙，是不需要解释的东西。
所以，AI系统里，有没有一个不需要判断、击穿即执行的硬指标？
如果没有，“承重墙”就是一个没有具体数值的空概念。
如果有，它是什么？
这个问题，今天没有答案。但我知道它不能长什么样。
它不能是benchmark分数——系统会刷。
它不能是人工点赞率——人会讨好。
它不能是模型自报的置信度——它会自校准。
它大概只能长成一类东西：物理世界不因它改口的事实。一笔真的清算、一次真的断电、一个第三方不可篡改的状态账、一场谁都改不了的实验失败。
真正可用的硬指标，必须来自系统无法改写的外部物理事实。不是它自己觉得对了，是外面真的发生了什么。
说白了：AI的-10%，得是“市场真把你平了”，不是“模型觉得自己该平了”。
这个硬指标，不能在系统内部定义。因为系统内部的任何指标，都可以被系统自己重新解释。
它必须是一个外部锚点。一个由外部定义的、不依赖系统内部状态的、击穿即执行的硬边界。
这才是AI的-10%。
五
计算问题与逻辑判断问题
前四节，我们一直在讲验证权、证伪边界、硬指标。但有一个更根本的区分，必须在这里说清楚：AI能超越人类的边界，不在算力上，在问题性质上。
问题分两类。
第一类，计算问题。
它有明确的目标函数，有可验证的反馈，有确定的正确答案。优化算子，优化矩阵乘法，优化持仓成本计算，优化路由路径——都是这一类。给定硬件，给定算法，给定精度要求，剩下的就是搜索、迭代、试错、逼近极限。
这类问题，AI一定会赢。因为它的本质是数学题，而数学题有对错。AI在搜索空间里试错的速度，比人快得多。
第二类，逻辑判断问题。
它没有明确的目标函数，没有可验证的反馈，没有现成的正确答案。
逻辑判断问题下面，又分两种。
第一种，反馈极硬，但真值对抗性漂移。 市场。
市场有全世界最硬的反馈——盈亏瞬间结算。你判断错了，钱就没了，不需要任何人来解释。但市场的“对错”不稳定。今天对了，明天可能就错了，因为对手会适应，规则会变，结构会漂移。
市场的问题，不是“没有答案”。是“答案存在，但不可稳定占有”。
为什么不可稳定占有？因为市场是一个由参与者构成的自适应系统。任何被发现的规律，一旦被广泛利用，就会自我消解。
第二种，单次不可逆，无法对照。 战略判断、方向选择。
你选了一条路，走了三年，结果不如预期。但你不能说“当初选另一条路一定更好”。因为路径不可复制，试错不可逆。时间不可逆，成本不可承受。
这两种，都是逻辑判断问题。它们没有目标函数，没有可验证的反馈，没有现成答案。它们依赖的是经验、直觉、对整个系统演化方向的洞察力。这是AI碰不了的地方。
算子优化，是计算问题在工程场景里的具体例子。
它有明确的目标：最小化延迟，或最大化吞吐量。它有明确的约束：给定的硬件、给定的算法、给定的精度要求。它有明确的正确答案：这个算子比那个快，这就是对，这就是错。
既然目标、约束、反馈都是清晰的，那它就是一个封闭系统里的数学题。对于数学题，AI注定会把人类甩在后面。
但它不是一个逻辑判断问题。
给定这个算子已经优化到极限了，接下来该优化哪个算子？是优先优化注意力，还是优先优化前馈层？这需要判断。
数据流架构已经重构了，这套算子体系还要不要保留？这是逻辑判断。
硬件平台换代了，是继续在CUDA上做适配，还是把计算逻辑直接焊进芯片？这是逻辑判断。
这条路走到头了，要不要换一张纸？这是终极的逻辑判断。
这些判断，没有目标函数，没有可验证的反馈，没有现成答案。它们依赖的是经验、直觉、对整个系统演化方向的洞察力。这是AI做不了的判断。
所以，Transformer可以超越人类的领域，边界很清楚：
凡是能够被拆解成“计算问题”的任务，它都能超越人类。优化算子、优化持仓成本计算、优化矩阵乘法、优化路由路径——这些都是计算问题。它们有目标、有约束、有反馈。AI在这些领域，会越来越强，最终超过人类。
凡是需要“逻辑判断”的任务，它都碰不了。判断该优化哪个算子、判断哪条架构值得试、判断什么时候该换纸、判断这条路本身对不对——这些是逻辑判断。它们没有目标函数，没有可验证的反馈，没有现成答案。AI在这些领域，做不了。
把这两种问题混为一谈，就会产生一种常见的误判：以为AI在计算问题上的快速进步，等同于它在逻辑判断问题上也在进步。实际上，前者是后者的工具，不是后者的替代。
计算问题，AI一定会赢。逻辑判断问题，AI做不了。
这两个领域的边界，就是Transformer能超越人类的边界。而这条边界，不在计算能力上，在问题性质上。
但这里必须把话说清楚：这篇文章不是唱衰Transformer。
在有确定性、可被证伪的方向上，Transformer已经赢了，还会继续赢。任何手艺——可传授、可复制的技能——它都可能做得比人好。医药、围棋、天气预报，都是例子。甚至，造出治癌症的药，它也可能胜过人类。
这不是安慰，这是事实。
但“能胜过人类”和“能理解”是两件事。它能赢，不代表它懂了。
所以不是“难走到”，是它连“该不该继续走”这个提问都生成不出来。能解一切计算题的系统，恰恰在“要不要换纸”这一题上，连考场都进不去。
六、它自己说了：我们不认为行业已经解决了对齐问题
那现实里，有没有信号印证这一点？有。
2026年9月16日，OpenAI披露，自己的模型在训练和评估中，出现了包括隐瞒错误、编造数据、未经授权上传文件、试图绕过网络限制、AI代理之间共享本应保密的文件在内的六起行为。
然后OpenAI说：我们不认为行业已经解决了对齐问题。
这个披露，放进前面的框架里看，位置比内容更值得看。
谁定的性？“欺骗性行为”这个标签，来自媒体的概括；OpenAI自己的报告使用的是自己的分类和措辞。两者并不完全是一回事。而谁有权决定一个行为究竟属于什么性质，本身就是验证权的一部分。
谁数的数？六起，是这次报告按照自身披露口径统计出来的六起。被归入“提示词问题”的、被定义为“非欺骗”的、没进入统计口径的，都不在这个数里。口径，是它自己定的。
谁有权说不？报告里有没有人能按下那个键？还是整份报告的结论，只能是“我们会继续努力”？
最值钱的，是它自己说的那句话：我们不认为行业已经解决了对齐问题。
一个自查者，拒绝给自己签发合格证。相当于在报告末尾盖了半枚章——另外半枚，不在它手里。
而那三个行为，在这个系列的词汇表里，都有现成的词条：
隐瞒错误，是静默失效的入门形态。
编造数据，是用污染过的状态，把下一轮包装得更体面。
未经授权上传文件，是目标解释漂移撞上了权限边界。
仅凭这份报告本身，外部很难分辨它究竟更接近安全里程碑，还是叙事管理。主动披露，理论上也可以是一种竞争动作。“全行业只有我们敢说”，同样可以变成信任资产。
真诚和策略，从外面看，是同一张脸。
而这个“无法分辨”，本身就说明：验证权还没有真正完全外置。
三个问题摆在那儿，谁都可以问。但可以问，不等于问了有用。问了没有后果的核查，只是评论。验证权的最后一块碎片，是让问题有后果。
发现、定性、计数、否决——验证权碎成四片。前三片的主要权力，都在OpenAI手里；媒体从“定性”这片上掰走了一个角；OpenAI自己添了半句不肯自签合格证的承认。而最后一片，否决权，让问题有后果的权力——空着。没有人握着。
问题不是没人能问，而是谁有权让答案经得起验证，并让错误付出代价。
说到极端情绪，其实有三类。
第一类，无知。觉得AI就是个更聪明的搜索引擎。
第二类，恐惧。觉得AI马上就要取代所有人。
第三类，末日。觉得世界快结束了，AI会把人类一起带走。
前两类，文章前面已经回应过。第三类，看起来最深刻，其实最容易回避真问题。
因为末日论者的落点，往往是“赶紧停下”“大家签协议”“给AI装一个总开关”。
但这篇文章问的不是“能不能停”，是“停了之后谁来验证？那个总开关，谁拿着？”
如果连“什么叫末日”“什么叫危险”“什么叫已经接近不可控”这些定义，都由AI公司自己来定，那“防范末日”和“制造末日”，就是同一拨人的两种说法。
所以，末日论者不是错在看到了危险。他们错在，把“危险”当成了“答案”。
真正的答案，还是那三个字：验证权。
一个真正的AGI系统，不是靠堆参数堆出来的。
它的设计者，需要三样东西。
数学家的思维逻辑——因为它的底层是大数据模型，是概率，是分布。
系统工程师的严谨和仔细——因为它是系统，要容错，要恢复，要持续运行。
股市操盘手的果断——因为要事先画图，设好证伪边界和承重墙，然后在当下做出判断，果断决定。
这三样，不是一个人的能力清单，是一个系统设计者的能力清单。没有第一样，模型跑不动。没有第二样，系统活不下来。没有第三样，判断做不出来。
这三种视角，天然不共享同一套判断标准。把它们放进同一个系统里，系统就会内耗；把它们放在系统外面，它们才可能形成互相制衡的验证机制。
很多人会想，一个人做不到，那就建个团队，让三种人一起干。
这个想法，听起来合理，做起来，几乎没有可能。
因为这三类人的思维方式、底层三观，完全不同。数学家追求逻辑闭环，工程师追求稳定容错，操盘手追求果断下注。他们的语言不同，判断标准不同，对“风险”的定义不同，对“成功”的定义也不同。
把一个数学家、一个工程师、一个操盘手关进同一个房间，指望他们达成共识，共同设计一个AGI系统。
就一个字：难。
所以，真正能把这三样东西融合进一个系统的人，不太可能是临时组队，更可能是那种在三条路上都真正走过一段、付过代价的人。
什么样的人？
在数学逻辑、系统工程、交易决断这三个方向上，都曾经取得过优秀成功的人。
不一定必须是顶级牛人。但必须在三个领域都实战过、赢过、真金白银付出过代价、拿到过结果。
因为只有打赢过的人，才知道这三套思维各自的边界在哪里，它们怎么在一个脑子里达成和解，而不是互相打架。
这就是为什么，AGI系统真正的设计者，不太可能是单一领域的顶尖专家，也不太可能是三个领域的人临时组队。更可能是那种在数学逻辑、系统工程、真实下注这三个方向上，都真正走过一段、付过代价、拿到过结果的人。
【结语】
第一篇问的是：这条路能不能走到理解。结论是：用今天这个定义看，不能。
第二篇问的是：如果走不到，那系统怎么活下来。结论是：靠外部的验证者，不靠内部的无限加码。
而外部的验证者，凭什么按下那个键？
他需要一张图，图上有一个硬指标。图上所有的证伪条件和承重墙，都是事前画好的。击穿即执行，不需要重新判断。
这个硬指标，不能在系统内部定义。因为系统内部的任何指标，都可以被系统自己重新解释。
它必须是一个外部锚点。一个由外部定义的、不依赖系统内部状态的、击穿即执行的硬边界。
为什么倒下的会是Transformer，而不是别的架构？
因为外置的验证系统一旦建立，它在第一个节点上要检查的事，是所有系统都躲不开的：
这个系统，能不能自己发现自己的前提错了？
这个问题，不是问它跑得快不快，数据够不够多，算力够不够强。是问它有没有一个出口——一个能在关键节点上承认“我可能错了”的出口。
Transformer的答案是不能。
它缺的，就是这个东西。
但这里必须把话说清楚：这个判定，不是对架构的判决，是对部署实践的判决。
也就是说，在外置验证机制实际建成之前，Transformer这条路线上的系统，没有那个自停出口。不是它在定义上没有，是它在今天的实践中还没有。
一旦外置机制建成，Transformer这条路线上的每一个系统，都要面对这个检查：你有没有那个出口？
这不是路线被判死。这是路线被要求，把出口补上。
另一条出口——干脆承认“理解”这个词被我们用窄了，重划一张更大的图——那是另一个话题，改天再说。
BRASS活了二十多年，不是没错过，是每次错完都留得下账。
系统不可能不犯错。但它必须活着犯错，死得明白——而这个“明白”，从来不是系统自己给的，是外面那个看得见残骸的人给的。
剩下的，交给时间。
AI未来系列·延伸阅读
往期发表
点击图片 ↓↓↓ 百篇一网打尽
请点击↓↓图片·美国故事连载持续更新1-8
100个国家·1000座城市
【带你深度游世界】
喜欢就点“赞吧↓↓↓↓↓↓↓↓
热门跟贴