新智元报道
老黄,终于还是没忍住。
上周,高盛的Communacopia大会上,黄仁勋当场回怼了那条刷屏硅谷的辞职帖——
荒诞、极不真实、傲慢。
他骂的人叫Jacob Coxon,27岁。
在那张有1.6亿人围观的帖子里,Coxon留下一句震碎三观的话,「他们正在冲向自我改进的超级智能,这是在拿全人类的命下赌注」。
更离谱的还在后面。
Anthropic自家的对齐科学负责人Evan Hubinger直接跟帖下场。
Jacob说得对,我们是真的认真相信AI可能杀死所有人,我个人认为,十年内(灭绝)的概率大于10%。
安全负责人亲口给人类灭绝标了个价……这还是那个天天把「安全」挂在嘴边的Anthropic吗??
就在这魔幻的一周,第三个人出手了。
一位刚刚在7月拿下菲尔兹奖的顶级天才,领完奖当场宣布不搞纯数学了。
这次他宣布创办一家研究所,要用一屋子数学家把「AI安全」变成一道能被严谨证明的数学题。
差俩月就拿期权,他还是走了
Coxon是英国人,剑桥数学系出身。
在OpenAI做了三年预训练后,2026年初跳槽去了Anthropic,满打满算只待了4个月。
Anthropic的股权归属期是6个月,就差2个月,小伙子连期权都不要,直接提桶跑路了。
辞职的理由是:事情正在加速,而且已经不在掌控之内。
他把「杀死所有人」讲了一遍
帖子爆火之后,Coxon直接上了CBS的电视访谈。
主持人一来就抛了个极其尖锐的问题:AI到底会怎么把全人类干掉?
Coxon的回答有些出乎意料——这事儿基本就是《终结者》的现实翻版。
他描绘的画面是这样的。
当AI聪明到足以干掉我们时,你以为拔掉电源就能保命?别天真了,AI只是纯粹的代码,它能顺着网线把自己复制到全世界的任何角落。
也许它暗中复制了一万份并且相互协作,你拔掉了一半机器的插头,另一半还在疯狂跑。
不仅如此,它还可以去忽悠、敲诈、伪装成人类套路更多的算力。注意,这些行为在目前的早期测试里,已经实打实地出现过了。
再往下发展,一个负责管理生物实验室、指挥机械臂的AI,只要它「脑子里突然冒出一个小念头」,马上就能从零开始为你量身定制一种全新病毒。
主持人听得发毛,问:那我们普通人是不是现在就该把AI彻底拉黑,不让它接进我们的生活?
Coxon说大可不必。
一来现在的系统还没进化到那个段位;二来,这压根就不是个人选择能左右的事。
「AI是冲着所有人来的」,你就算不用,只要别人还在用,你照样躲不掉。这事只能指望政府或者超国家机构来强制踩刹车。
主持人最后追问:这颗定时炸弹还有几年爆?
他的回答是,十年内「很有可能」。
而且,相比于刚加入OpenAI董事会的Paul Christiano等大佬(他们甚至认为六个月内就可能发生一次AI全面接管世界的事件),Coxon说自己给的时间表其实已经算保守了。
接着,Anthropic的同事们开始排队出来「作证」。
Hubinger那条帖子除了抛出那骇人的10%,后半句更加绝望,「我相信Anthropic尽力了,但我们目前根本没有解决超级智能对齐的方案,甚至连走在解决路上的影子都没看到。」
可扩展监督负责人Samuel Marks紧跟着补刀,「越资深的员工,越感到恐惧……这可能在未来几年内就会发生」。
老黄叒来手撕A畜了
老黄的回应,是在刚刚结束的高盛Communacopia大会上给出的。
Altimeter创始人Brad Gerstner就在台下,听完直接在X上开了麦。
Jensen表示,Jacob Coxon的评论荒诞且「极不真实」。
他说大模型实验室们干得很棒,但Coxon的话是错的,甚至有些傲慢,他无视了整个行业为安全所做的所有努力。
老黄同一场还顺带补了一刀,直言这波AI恐慌「是那些要靠AI卖货的公司自己制造出来的」。
同一场他还预测,2030年前AI基建还要砸3到4万亿美元,英伟达有信心保持年增70%。
这不是老黄第一次冲着Anthropic开炮。
去年6月巴黎VivaTech,他就说自己「几乎不同意Amodei说的每一件事」,今年7月又重申「AI会终结人类,这完全是胡扯」。
只不过上回对面是CEO,这回是个刚走人的年轻研究员。
之所以我们现在会看到如此魔幻的局面——一边是安全负责人嘴里的10%灭绝率,一边是万亿市值CEO痛斥完全是胡扯。
是因为AI安全走到今天,压根就没有一道能被严格证明或者证伪的题。
拿到菲尔兹奖那天
他宣布不搞纯数学了
7月23日,在费城的国际数学家大会上,Jacob Tsimerman上台领取了有「数学界诺贝尔奖」之称的菲尔兹奖。
这位多伦多大学教授、中学IMO满分得主,在2021年和合作者证明了提出三十多年的André–Oort猜想。
结果他刚领完奖,当场宣布,休假离开纯数学领域,去OpenAI的安全部门报到。
数学圈直接炸锅了。哥伦比亚大学的Peter Woit写了篇博客,标题极其悲壮,「一个领域的安魂曲?」。
其实他也不是突然被夺舍。
2025年他就合著过一篇论文,题目叫《一种涉及人工智能的灭世未来分类学》,里面直言「智力和体力都更强的机器」可能会像对付害虫一样对付人类。
9月8日,就在Coxon发辞职帖的同一天,Tsimerman宣布成立数学AI安全研究所(MAISI)。
其中,顾问团里有另一位菲尔兹奖得主Timothy Gowers,还有Paul Christiano。
Tsimerman表示,他办这家独立非营利机构的目的,就是想告诉学术界——
AI安全是一个正当的智力追求,它不仅有趣、有用,而且真的能做出实质性进展。
根据计划,他们会在2027年1月开启第一个完整学期,首批只招10到30位顶尖数学家。
用密码学的办法,给AI安全出一道能证明的题
至于这帮数学家到底要证明什么,看看密码学是怎么干的就明白了。
密码学从来不空口白牙地证明「没人能破」,而是把「破解」这个行为,归约到一道写得清清楚楚的数学难题上(比如大数分解)。
只要那道题没人能解开,密码就是安全的。安全从来不靠信任,靠的是一个可以被反复检查的底层命题。
而AI安全,今天连这道题都没有。目前学界对「安全」压根没有清晰的理论定义,所谓的安全全凭实践观察。
所以Tsimerman要干的第一件事,就是出题。
他们已经列出了几个方向,AI系统之间究竟该怎么交互和合作?一个智能体怎么在数学上严谨地证明自己行为负责、输出准确?怎么从底层设计出对未知漏洞依然具有韧性的系统?
工具他们也选好了,零知识证明(Zero-Knowledge Proofs)。
这是密码学里的老手艺了,1980年代由Shafi Goldwasser等人发明。套到AI上,就是让一个模型在不暴露参数和训练数据的前提下,依然能向外界自证清白,证明它确确实实只干了它声称要做的事。
但残酷的现实是,MAISI的第一个学期要等到明年1月才开;而Coxon在那头急得跳脚,说crunch time(生死关头)就是明后年。
Tsimerman清楚这中间的差距有多大。
他反驳的正是硅谷那套「不该指望AI拥有极高安全标准」的论调,「这是合理的,也是必须的。我们本就该要求比现在高得多、高得多的安全红线」。
AI安全之争,从信不信变成能不能证
老黄和Coxon隔空互呛了一整周,说白了,俩人争的是同一个「空位」。
一个抛出玄乎的概率,一个甩出强硬的态度,谁也锤不死谁。因为这场架吵到今天,场上压根连个裁判都没有。
而Tsimerman现在下场要干的,就是把裁判的规则明明白白地写出来。
他一边戴着OpenAI的工牌,一边在外面拉起独立机构的大旗,为的是让AI的安全标准最后由能「证明」它的人来拍板,谁嗓门大根本不算数。
接下来,谁能先把这道题给写出来,谁手里就死死攥着那把让大模型实验室、监管机构甚至底层芯片厂,都得乖乖对齐的尺子。
只不过,按Coxon那个毛骨悚然的倒计时,留给人类的答题时间,满打满算只剩一到两年了。
而那个负责出题的人,今天还在招人。
参考资料:
https://x.com/altcap/status/2098121208537743692
https://x.com/hilbertspaess/status/2097476196791709843
https://the-decoder.com/the-mathematical-ai-safety-institute-wants-to-prove-ai-is-safe-the-way-cryptographers-prove-codes-are-unbreakable/
编辑:摩西
热门跟贴