【留美学子】第3923期

13年国际视角精选

仰望星空·脚踏实地

【陈屹视线】教育·人文·名家文摘

让认知 永远快人一步

AI的当下:穿球鞋进不了NBAAI呢?

作者:刘丹(DAN LIU,谷主)

打开网易新闻 查看精彩图片

【导言】
本文是《AI的当下》系列的第二篇。用《AI的未来》九篇搭建的坐标看当下的事。不喊口号,只画坐标。

近日偶尔读到一篇交易圈流传很广的文章,讲“从90%失败者变成1%赢家的八步法”。(以下八条按流传版本概述,不逐字引自某一具体文章。)文章列了八条:稳定收入、严格止损、匹配风格、研究图表、机械化规则、交易日志、切合目标、牛市进攻。每一条都对。几乎每个活下来的交易者,都做过其中不少条。但文章没有回答一个问题:做了这八条的人,为什么还是绝大多数成不了那1%?

10月10号又看到微软CEO萨提亚·纳德拉在X上发的一篇文章。他说:“我们需要用强大的、确定性的系统设计、人工控制以及可靠的操作程序,来包围非确定性的模型,并在现有标准不足的地方建立行业标准。”他给出了六条工程要求:紧急刹车、独立控制与审计、不依赖单一模型、可观测性、内部威胁模型、对超级智能的重新定义。每一条都对。每一条都是AI安全该做的事。但他也没有回答一个问题:风险真正从何而来?

一个是交易圈的“八步法”,一个是科技CEO的“六条要求”。领域不同,结构相同:都是必要条件清单,都不是风险根源的完整分析。

设止损是活下来的必要条件;设了止损的人,大部分仍然出局。紧急刹车是AI安全的必要条件;建了紧急刹车,不等于风险已经被关住。

这两篇文章真正的问题,不是它们说错了哪一条,而是:把必要条件当成了充分条件,用一份可执行的清单,替代了一个不可外包的判断。

这和当下讨论AI风险的方式,是同一个结构。

这些必要条件,在《AI的未来》系列九篇文章里已经详细推演过。这篇文章只是想推演一件事:风险真正从何而来?

但这里必须先钉死一个前提:Transformer架构下的AI,本质是一台玩概率的游戏机。它与所有玩概率游戏的系统,共享同一组特征。炒股是其中最极端的例子。

这里必须做一个区分:交易规则是确定性的——止损线、下单接口是写死的代码,不会自己漂移。但交易结果是概率性的——个股逻辑你看得懂,组合的涌现走势你算不出。AI同理:训练目标确定,多层循环下的整体行为不可事前预测。

两者同构的,不是“都叫概率游戏”这个笼统标签,而是:规则确定,不等于整体结果可预测。

所以,这不是类比,是同构——类比引出问题,同构指向同一个风险结构。炒股不是拿来打比方,是拿来照镜子:它把“确定规则也拦不住不可预测”这件事,用真金白银的方式演了一遍。

人人都在说:AI能力越来越强,需要控制、需要防风险。然后列出监管、对齐、安全评估、红队、开源闭源、减速加速、紧急刹车、独立审计、模型多样性……

这些多半有用,多半是必要条件。但它们往往没有先问清楚:

风险真正从何而来?

这篇不给最终答案,只把这个问题钉在坐标上。为什么现在写?因为当下AI风险讨论中相当一部分,陷入了一种简化:把“能力太强”当万能解释,然后开出“限模型、控公司”的万能药方;或者列出一堆“该做什么”的清单,却不追问“为什么必须做”。这篇文章是给这种简化踩一脚刹车。

打开网易新闻 查看精彩图片

一必要条件,不是充分条件

回到那篇交易文。

八条每一条都经得起推敲:稳定收入帮你扛回撤,止损帮你活过单笔,匹配风格减少拧巴,图表与日志形成反馈,规则降低情绪干扰,目标约束冒进,牛市里才谈进攻。

没有它们,你大概率走不远。

有了它们,你也不必然成为赢家。

文章的语气,却容易滑向:“有了它,你就行。”

那是把“活下来的人做过什么”,包装成“你做了就能幸存”。

典型的幸存者偏差:只看见活着的人身上有什么共同点,没看见死掉的人是不是也做过同样的事。

设止损的人很多,长期活下来的很少。

研究图表的人很多,成为稳定盈利者的很少。

所以:八步法是必要条件清单,不是充分条件保证书。

这个毛病有名字:把必要条件误当充分条件,叠加幸存者偏差。它不只出现在交易文章里,也出现在绝大多数“成功学”叙事里。

在AI领域,“能力越强风险越大”的叙事,正在犯一模一样的错误——把必要条件当成了充分原因。

二
AI讨论里的同类病灶

再看当下的AI风险讨论。

“能力越来越强,所以要控制、要防风险”——这话作为提醒没错。

能力增强,确实是风险变大的一个重要条件:能碰的范围大了,一次错的破坏力才可能变大。

但它不是风险的充分说明,也不是风险的全部来源。能力增强的同时,系统也可能变得更可靠。但可靠性的提高,不等于尾部风险消失。

《AI的未来》九篇里推演过的判断是:

风险主要来自——能力增强之后,边界没有同步增强。

不是“强”本身必然危险;

是“强了、能碰的多了,而验证轴、承重墙、权限边界、停机权没有一起变厚”。

和交易文同一结构:

交易文把成功者的特征当成成功的原因,用清单替代判断。

AI讨论把能力增强当成风险的全部原因,用“限能力、控公司”替代“建边界”。

两者都在用表面相关,替换深层结构。

就像给车限速:限速能减轻坠崖的后果,但替代不了护栏和刹车——限速是必要的,护栏才是那道边界。能力数字降下来,边界没建,一样会掉下去。

打开网易新闻 查看精彩图片

三为什么“简化成能力太强”是危险的偷懒

把风险主要归因于“能力太强”,至少有三个后果。

第一,把问题推给技术,放过结构。

若根因是“太强”,解法就变成“限能力”。

限住今天的模型,明天更强的模型出来,边界仍可能空着。

问题常不在能力数字本身,而在可及范围与边界是否匹配。

第二,把责任推给“造模型的人”,放过整条责任链。

若根因是“公司造了太强的东西”,责任就停在公司门口。

但验证轴、停机权、不可回滚场景的签字,从来不是只有一层。它至少分三层:技术责任——谁设计系统、谁验证前提;业务责任——谁授权部署、谁承担运营后果;制度责任——谁设定规则、谁在事后追责。

“谁授权、谁审计、谁在行动前能拦住、出事谁赔”,这四个问题,对应的正是这三层:谁授权对应业务层,谁审计对应制度层,谁在行动前能拦住对应技术层加业务层,出事谁赔对应制度层。读过《AI的你我·谁签字》的读者,会认出这是同一套责任框架,在新场景里的复用。

“能力太强”这个简化叙事,容易把这三层责任一起盖住。

第三,制造“控制能力=控制风险”的幻觉。

类似“设了止损就能活下来”。

控制能力是必要条件;能力增强的同时边界同步增强,才更接近充分方向。

四真正的风险来源(结构上)

与《AI的未来》九篇、《AI的你我·能力越强,越容易出大事》同一套坐标,风险常来自四层叠加:

第一,概率预测的尾部。

Transformer下,“对”多为大概率拟合,不是结构证明。尾部风险始终存在。

第二,多层循环的放大。

错误可进入下一轮上下文、工具调用、甚至数据回流,被当成“已发生”继续用。不是单次胡说,而是可能被传递、被放大。

第三,可及范围扩大。

能碰的系统、权限、物理或金融接口越多,一次偏离的代价越大。破坏力与可及范围大致同向。

第四,缺少边界约束。

这一层不是模型内部机制,是风险约束机制的缺失。能力在跑,验证轴、承重墙、最小权限、停机开关、可回滚设计没有一起变厚。

前三层性质不同:第一层是模型内部机制问题,第二层是反馈机制问题,第三层是部署环境问题。它们都是风险来源,但不是同一类风险来源。第四层是人为漏洞,是唯一可以通过外部工程手段约束的一层。

但必须说清楚:边界是约束机制,不是消除机制。概率预测的尾部风险、多层循环的放大机制,是概率游戏本身带来的,边界只能减缓、兜底、限制破坏范围,消除不了它们。

概率引擎不会自动停在“还没画线”的地方;边界必须从外面加进去。

炒股也一样。你有止损、有仓位管理、有交易纪律,风险就被约束了。但止损和仓位管理,消除不了概率游戏的尾部风险。它们只是让你在概率游戏里,死得慢一点。

因此:

真正的风险,不是“AI能力太强”这一句。

是“能力(与可及范围)变强了,而边界没有同步变强”。

但边界同步变强,也不是万事大吉。它只是把风险从“不可控”变成“可控”——不是从“有”变成“无”。而且,机制存在,不等于机制有效。建了边界,不等于风险已经被关住。

打开网易新闻 查看精彩图片

五那该怎么办(工程方向,不是口号)

不是先“限死能力”,而是建边界、接验证、留签字。

《AI的未来》九篇的落点仍然适用:

先划边界,再谈能力。

可回滚的活,AI可以干;不可回滚的活,AI不能单独干。

落到可追问的工程问题上,至少包括:

·谁验证它真的做对了(相对真实目标,而不只是“完成了指令”)?
·谁有权在行动前拦住它?
·哪些事一旦错了,无法可靠回滚?
·验证轴自己也会错——出错时谁来兜底?

这四个问题背后,归根到底是:人有没有判断力,去选验证者、去签字。判断力从哪里来,见《AI的教育·判断力从哪里来》——它不是学校教的,是从执行力和验证闭环里长出来的。

最后这个问题,不是一句可以轻描淡写带过的。这正是《AI的你我·能力越强,越容易出大事》里验证轴独立性的延伸:

用AI验证AI,那个AI也是概率游戏,存在同源偏差。

用形式化验证器,它只能检查你写出来的属性,不能覆盖未知场景。

用人来验证,人也会疲劳、会犯错、有主观偏差。

链条不能无限叠加,总要落在一个不受模型支配的锚点上。而这个锚点是什么、由谁持有,本文不展开——它需要另一篇文章,用工程数据来回答。

这些不是“把模型做小一点”就能自动回答的。

需要的是:独立验证、最小权限、停机机制、可回滚优先、不可回滚必须人签,以及验证失效时的容错,而不是把希望寄在单一“绝对可靠的验证者”上。

这些机制,不能只长在模型内部;关键部分必须在系统外面。

结语

那篇交易文,当检查清单有用:你有没有收入缓冲?有没有止损?有没有记录?

当成功保证书,是伪命题。

当下许多AI风险讨论,当风险提醒有用:能力是否过大?是否该认真对待?

当风险根源的完整分析,若只停在“能力太强”,就是简化。

真正要盯的,不是能力数字本身,而是:

能力与可及范围变强之后,边界有没有同步变强。

概率引擎不会自动停在“还没画线”的地方。边界必须从外面加进去。但边界只是约束,不是消除——它把风险从不可控变成可控,不是从有变成无。

线已经画到这里。剩下的路,是人走的。

打开网易新闻 查看精彩图片

【附记】

这篇只钉一件事:不要把必要条件当成充分条件;不要把表面相关当成因果结构。

交易“八步法”容易犯前者;AI风险讨论若只喊“能力太强”,容易犯后者。

风险往往不在“强”,而在“强了之后边界弱”。

但边界变强,也不是终点——它只是把风险关进了笼子,笼子本身还需要被看着。

这篇写成的时候,正好看到达特茅斯学院教务长的事。它给这篇文章提供了一个具体的例子。

事情很简单:教务长在《华盛顿邮报》发了一篇长文,痛批学生用AI作弊。结果学生用AI检测工具一测,这篇文章本身高度疑似AI生成。连他后来解释这件事的书面声明,也被检测出大面积AI痕迹。

很多人当笑话看。但笑话背后,有一个真问题:边界该划在哪?

区别不在于“谁用了AI”,在于“AI替代了什么”。

学生用AI,替代的是判断力的生长过程。那个过程本身,就是教育的目的。你替代了它,就等于取消了教育。

老师用AI,替代的是执行层的重复劳动。AI替老师做了执行,老师把精力放在判断上:该写什么、怎么写、给谁看、哪些重要哪些不重要。

所以,双层标准不是“对学生严、对老师松”。是:

凡是训练判断力的过程,AI不能替你干。凡是可以用AI替代的执行层,谁都可以用。

学生写论文,是在训练判断力。所以AI不能替他干。
老师写教材,是在产出最终产品。AI可以替他干执行。

这条边界,不需要先回答“判断力从哪来”,就可以先划。

在答案缺席的时候,限制就是承重墙。

训练场不可外包。这就是那道边界。

边界是笼子,不是终结。笼子管住风险,人管住笼子。

《AI的当下》,继续。

【作者声明】

本文是《AI的当下》系列的一篇,交易文章仅作类比入口,不构成技术等同——交易规则确定,但交易结果概率;AI训练目标确定,但多层循环下整体行为不可事前预测。两者技术不等同,但在“确定规则下、多层交互的结果仍不可事前预测”这一点上,风险结构同构。

注明:本文在文献调研、图表制作、文字润色等环节使用了AI辅助;文章的观点、判断与逻辑框架均由本人提出,并由本人负责。

往期发表

打开网易新闻 查看精彩图片

点击图片 ↓↓↓ 百篇系列一网打尽

请点击↓↓图片·美国故事连载持续更新1-9


100个国家·1000座城市

【带你深度游世界】

喜欢就点“赞吧↓↓↓↓↓↓↓↓