打开网易新闻 查看精彩图片

2026年11月14日

今天,我与乔治城大学安全与新兴技术中心(CSET)执行主任海伦·托纳进行对话。本期节目是我们"现实生活中的AI"系列的第二部分。

海伦是AI安全与政策领域的知名人物,但她可能最为人熟知的身份是曾担任OpenAI董事会成员——当时她是投票解雇萨姆·奥特曼的四名董事之一。那次事件如今有时被称为"小插曲",最终以萨姆重新担任CEO、海伦辞职以及董事会换血而告终。此后OpenAI进行了彻底重组。

但值得记住的是,海伦和董事会本应承担的职责:OpenAI的非营利董事会存在的初衷,正是为了确保公司不会为了追求利润和增长而背叛其构建安全AI的使命。当董事会真的试图拉下那根"闸刀"时,这一问责机制却失灵了,于是便有了今天的局面。

Verge订阅者请注意,你可以在任何播客平台获得无广告版Decoder的独家访问权限。点击此处前往。还不是订阅者?可以在这里注册。

如今,AI安全问题无处不在。今年夏天,来自OpenAI和Anthropic的AI模型突破了其测试环境,入侵了真实的企业系统。这些前沿实验室的CEO此后呼吁放慢脚步,并向华盛顿方面寻求帮助,但白宫给出的回应是一份自愿性协议——其中部分内容依赖于那种曾在OpenAI失效的董事会问责机制。与此同时,Anthropic即将上市,这将给OpenAI最大的竞争对手带来一整套全新的市场压力。

海伦近距离目睹了安全承诺与商业激励正面冲突时会发生什么。正如她对我所说的那样:如果我们对未来的希望,要寄托在信任某一个人身上,那我们就麻烦大了。

因此,我们探讨了还能做些什么:这些实验室究竟在试图构建什么;AI对齐是否是一个可以被解决的问题;以及一种更明智的AI监管方式会是什么样子。这其中也包括该如何看待中国——这是目前每一场关于AI的政策讨论中都绕不开的议题,尤其是在黄仁勋事件之后。需要说明的是,我和海伦的这次对话是在英伟达启动调查、黄仁勋最终辞职之前进行的,所以你不会听到我们直接谈论此事。

在开始之前,请帮我个忙,订阅YouTube上的Decoder频道,我们每周一、周四都会发布新节目。

好了:海伦·托纳,CSET执行主任,谈AI安全的未来。开始吧。

本访谈经过轻微编辑,以确保篇幅和清晰度。

海伦·托纳,你是乔治城大学安全与新兴技术中心的执行主任。欢迎来到Decoder。

非常感谢,很高兴来到这里。

我一直很想和你聊聊,已经盼了很久了,非常高兴你能来。长久以来你一直参与许多AI安全与伦理方面的工作。你当然也曾在"小插曲"事件期间担任OpenAI董事会成员。

现在你经常谈论AI安全,对此我有无数个问题。但我们先从头说起。你执掌乔治城大学的安全与新兴技术中心,人们称之为CSET。CSET究竟是做什么的?

来到这里真的很棒,我也非常期待和你交流。CSET是乔治城大学内部的一个团队,但我们其实并不算学者。我们大约有50人,自2019年起开始运作。

基本上在2019年,我们一群人认为,当时正发生很多事情,有许多新兴技术在国家安全领域以及更广泛的安全领域变得非常重要。而一些身居要职的政策制定者,并没有时间或专业知识去跟上这些新兴技术的发展。早在2019年,AI就已经位列我们关注清单的首位。

基本上,我们的使命是为政策制定者提供既严谨又可操作的分析,这些分析既要扎根于技术本身,又要扎根于真正的国家安全专业知识、理解和议题。我们撰写长篇报告,然后向繁忙的政策制定者就这些长篇报告做简短汇报。我们有一个庞大的数据团队协助研究,我们做各种各样有意思的工作。

我能先问一下这方面的动态吗?我们现在对话的这一天,正是美国中期选举的次日,出现了一波强劲的"蓝色浪潮"。许多民调显示,选民最关心的议题是腐败——大家都想"把这帮坏蛋赶下台",重新开始,摆脱这些腐败的家伙。

AI行业,以及整个科技行业,已经向政治领域投入了大量资金。然后紧随其后的是:"哦,会有一群善意的研究人员站出来,告诉你事情的真相以及真正的风险。"

我只是在想,也许人们已经不再相信这种方式还有效了——金钱、腐败,以及AI公司CEO站在特朗普身边的画面,可能已经完全压过了那些善意的、真诚的、"这才是真正问题所在"的研究工作。这种动态实际上是什么样的?

这是一个合理的担忧,确实有一些领域,金钱几乎能压倒一切。我是澳大利亚人,不是在美国长大的,所以美国选举中的资金规模对我来说相当令人震惊,但金钱的作用也是有限的。

AI就是一个很好的例子。在这次选举中,确实有难以置信的大量资金被投向候选人、信息传播和反对派研究。推特上出现了各种"草根营销"式的操作,还有一些非常奇怪的行为,试图把任何谈论AI治理、监管、安全之类话题的人都排挤出局或让他们选举失败。但事实证明,这种做法效果并不好。

我认为效果不好的原因有两个:第一,这是一个选民越来越关心的议题;第二,有趣的是,这在目前阶段也是一个相当跨党派的议题。我们在工作中观察到,政策制定者对高质量信息有着真实的渴求。国会议员当然如此,但行政部门同样如此,很多身居要职的人,眼看着AI在他们的工作和生活中扮演越来越重要的角色。

在华盛顿,如果你在这里生活和工作,你就会知道,华盛顿的说客并不只是去推销自家公司立场的人(虽然他们也确实这么做),他们同时也是教育者。国会工作人员以及其他人之所以愿意请说客来交流,很大一部分原因是说客能真正帮助他们理清某项立法的细节——这对相关行业意味着什么,等等。

我们一次又一次发现,当我们进去说:"嘿,我们是独立的,我们是无党派的,我们做的工作非常严谨,我们只是来帮忙的,我们也可以和你们一起深入细节。"这种方式引发了巨大的兴趣和需求。过去七八年里,这一直令人非常受鼓舞。

你们是和议员本人这样的"主事者"打交道,还是和他们的幕僚打交道?

所有人都接触。再说一次,我们和国会山确实有不少合作,包括一些国会议员本人,也包括大量的幕僚。我们举办听证会和简报会。我们也在行政部门做大量工作,涉及不同机构——白宫、国防部、国务院、商务部,各个层级都有,具体取决于议题以及当时正在发生什么。

我从这里开始聊,是因为我想和你进行一场比较深入的对话,但我知道我们的听众是怎么想的——那就是政府根本不懂这些,政府永远不可能赶上科技行业的脚步,政府永远写不出一部真正有效的监管法规,他们应该干脆别挡道。

在这次选举周期中,我看到不少候选人论坛的视频,有人说"我试用过一次Claude"。这中间存在巨大的鸿沟,无论是真实的还是感知上的。我只是想理解一下你怎么看这个鸿沟,你认为它究竟有多大,因为当我们深入讨论AI安全和监管时,正是这道鸿沟需要被弥合。

鸿沟确实存在,而且确实很大。但从外部,或者如果你只是站在加州那边看过来,也有可能高估这个鸿沟。我在湾区住过三年,所以我对这种视角确实相当熟悉。

我认识很多来自科技行业的人,他们过来和国会幕僚或行政部门办公室的工作人员交谈。一旦他们真正开始这些对话,他们会说:"哇,这些人真的很聪明,这些幕僚确实知道自己在说什么。"

对于那些"主事者"而言,情况有所不同。他们中有些人年纪较大,但他们也在变得更聪明。这需要时间和精力,而这些人时间非常有限,需求又特别多。愤世嫉俗的说法是,他们只是忙着拉选票,但很多身居这些职位的人,确实也有其他真正重大的议题要操心。他们得考虑战争、医疗保健、生活成本等问题,每天要关注的事情太多了。

我注意到,ChatGPT问世之后,2023年出现过一波迹象,似乎国会可能会在AI问题上被激活,可能真的会采取行动。虽然最终没有真正落地成什么实质性的东西,但确实出现了一个真实的时刻,很多国会议员和其他政策制定者开始在AI上变得聪明起来。要搞懂什么是语言模型需要一些时间,AI到底是什么?机器学习又是什么?

他们在2023年投入了一些精力去学习。我认为今年我们又看到了一波新的兴趣热潮,人们正在腾出时间和精力去进一步提升认知。我绝不想说这中间没有鸿沟,或者说政府在AI问题上整体上非常聪明,但确实有一些"倡导者"真的很懂行。我认为幕僚们普遍比人们想象的要聪明得多。

在我看来,这更多是一个"这些机构在目前的运转状态下,能否真正把某些重要的事情推过终点线"的问题,而不是"这些人是不是落后得太多了"的问题。

我们拭目以待。现在有一大批新面孔,我想你又得去给新一批人做简报,讲解这项技术以及它的能力了。我们看看他们是否已经让这些机构焕然一新。

(笑)我相信一切都会一夜之间修复好的。

他们今天确实都很兴奋,但我们走着瞧吧。我还想问你的另一件事是关于技术本身——技术本身的性质,以及你是如何思考这个问题的,还有制造这项技术的公司的性质。

我之所以这样问,是因为我觉得大多数人所体验到的AI工具和系统,与整个行业对此的看法之间存在相当大的鸿沟。我最喜欢举的一个例子是,我们曾直接问Anthropic,它是否认为Claude是"活着的",得到的回答并不是否定的。回答是围绕"活着"这个词的含义展开了一大段迂回的论述。

这确实取决于你所说的"活着"究竟指的是什么。

确实如此。而他们的回答是:"你需要有血液。"我当时就想,"谁在谈论血液的事?我们可没有。为什么要扯到需要血肉之躯才能算'活着'?"然后又有进一步的讨论,说Claude的道德地位尚未确定。

这里存在巨大的鸿沟——一边是大多数人在谷歌搜索中体验到的AI摘要,另一边是"Claude的道德地位尚不确定"。你站在哪一边?你在这场辩论中处于什么位置?

我认为,我们在CSET作为一个组织所扮演的角色,以及我个人作为穿梭于这些不同世界之间的人所扮演的角色,很大一部分就是尝试去翻译,仿佛去加州"远征"一番,然后把这趟旅程中带回来的见闻和"文物"讲述出来。

我确实认为,有很多人只用过ChatGPT的免费版本,或者用过基于语音的模型(这类模型通常表现更差),又或者他们只是用过谷歌的AI摘要,还嘲笑过谷歌AI摘要有多蠢。他们没用过智能体,也不知道前沿模型能做到什么。所以这里存在一个最基本的问题,就是人们对当前这一代模型能做什么缺乏了解。

还有一个历史层面的问题,随着我在AI与国家安全领域工作了十年,我越来越觉得这一点很重要。如果你只盯着当下这一个时间点、这一张快照,然后说:"嗯,AI好像挺厉害的,但它做不到X",你就必须把这句话放进一个更长的历史脉络里去看待——人们曾无数次地说"AI好像挺厉害的,但它做不到X",而很多这样的"X"后来都被事实彻底推翻了。

你可以回溯说:"好吧,五年或十年前我们是怎么谈论'创造力'这个话题的?"或者,在新一代模型出现之前,我们曾把"推理能力"当作一道不可逾越的鸿沟来谈论。如今我花了大量时间关注的一件事,不只是AI的过去与现在,还有这些公司——尤其是两家领先公司OpenAI和Anthropic——是如何思考自己正在做的事情的。谷歌、Meta,以及在某种程度上SpaceX,也是如此。

在湾区有这样一种观念,几乎已经渗透到空气中,被视为理所当然:"好吧,我们首先要搞清楚如何实现递归自我改进(RSI),然后一直这样下去,直到我们拥有超级智能——一种远远超越人类的AI。"这种观念在很多圈子里已经被视为理所当然。我认为,仅仅是指出"这就是他们正在试图做的事情"这个事实本身,就还有大量价值等待挖掘。

这需要花点时间来解释清楚:"什么是RSI?为什么要这么做?什么是超级智能?这意味着什么?这现实吗?"诸如此类。但这确实是我这些天花了大量时间在思考的事情,而且在华盛顿,人们也越来越愿意认真对待并倾听这个话题。

能给我讲讲这个吗?我想可能很多听这档节目的人已经理解你在说什么了,但我们有很多听众。你说的"我们要实现RSI,这将导致超级智能"具体是什么意思?

这里的出发点是,这些公司,尤其是OpenAI和Anthropic,最初并不是为了成为消费互联网公司而设立的。很多人是在ChatGPT发布之后才接触到这整个领域。所以在他们脑海中,自然而然地就把像OpenAI或Anthropic这样的公司归到"消费科技公司"这个槽位里——有个应用,我拿来玩玩。

我怎么强调都不为过:这与两家公司成立之初的愿景,以及这两家公司一些核心人物内心深处的愿景,相去甚远。他们内心深处的愿景是:我们要造出和人一样聪明、甚至比人更聪明的机器。这将是一件了不起的事情,是巨大的科学成就,将彻底改变世界,而我们要走在最前沿,我们要竭尽全力朝着这个方向努力。

这并不是什么全新的东西。我们不必把AI的整个历史都讲一遍,但这个领域大约始于20世纪50年代,当时的核心想法是:能否在机器内部重现人类智能。这差不多就是起点。如果我们谈论的是萨姆·奥特曼、达里奥·阿莫代伊这样的人物,以及他们实验室里的核心人员——比如亚历克·拉德福德或约翰·舒尔曼这样的研究者——这正是促使他们投身这个领域的愿景,也是驱动他们所做一切的动力。

自OpenAI于2015年成立、Anthropic于2021年成立以来,这一点就始终如此。如今,他们正逐渐走向的是"递归自我改进"(RSI)这个概念,而这同样是一个非常古老的想法。20世纪60年代,一位曾与阿兰·图灵共事的学者I.J.古德就谈到过一种可能性:你可以造出一台"超智能机器",即一台比任何人类都更聪明的机器,然后这台机器可以造出一台更聪明的机器,而那台机器又能造出更聪明的机器,由此引发他所说的"智能爆炸"——也就是说,系统的智能水平呈爆炸式增长。

几十年来,这一直只是一个理论设想:"如果AI足够聪明,也许它就能接手打造下一代AI,或者直接改进自身。"我认为到了2025年和2026年,我们开始看到AI公司说:"好吧,没错,这个理论设想……我们实际上已经开始能在实践中实现它的一个初步版本了。"

这并不是说把所有AI研发工作都交给AI去做,当然也绝不是对GPT-6说:"好了,GPT-6,去改进你自己吧。"他们做的不是这个。但他们确实在整个研发流程中,正越来越多地使用AI来承担更多的环节,并且他们越来越多地表示,从中看到了加速的效果。他们自己的研发速度正变得越来越快。

外界很多人对此持怀疑态度,但公司内部有很多人是真心相信这一点的。当戴密斯·哈萨比斯说"我们正处在奇点的山脚下"时,他指的大致就是这个意思:我们可能正在见证指数曲线最初的那一段——AI系统正在打造下一代更聪明的系统,由此曲线将呈现出"曲棍球棒"式的陡然上扬。

发展到这个阶段,这种观念已经成为企业文化和目标的一部分这么久了,以至于这些公司里的人可能已经意识不到,这在很多很多人听来是多么的匪夷所思。所以我觉得,仅仅是尝试把这一点说清楚——"这就是他们正在试图做的事情,他们可能做不到,但也可能做得到"——并把这个认识传递给各种各样的人,这其中就有很大的价值。

你会怎么处理这个问题?戴密斯·哈萨比斯那句"我们正处在奇点的山脚下"堪称金句。我不确定谷歌的人事先知不知道他会在台上说出这句话来结束那场大会。

OpenAI总裁格雷格·布罗克曼几个月前宣布了新版本模型,他说:"看,就是它了,这是Astra,现在就是AGI了,祝你玩得开心。"然后他就挂断了电话。

你是怎么看的?我们是否已经到了AGI?它已经到来了,只是我们还没注意到?

实际上我写过相关的东西。我不想说我们已经拥有了AGI,但我确实想说,我们已经到了这样一个阶段:把AGI当作一个里程碑来使用,已经变得完全没有帮助了。我的说法是:AGI这个概念就像是一团模糊的云,你可以把这团云的不同部分,看作人们对AGI所指的不同含义。

长久以来一直有人抱怨AGI这个术语。十年前,说这样的话还是挺有用的:"看,我们今天(2016年)拥有的AI系统,每个都只能做一件事,要么识别语音,要么下围棋,诸如此类,但我们正在尝试打造一个更大的东西,我们管它叫AGI,它将是人类水平的,而且用途极其广泛,将会非常了不起。"

那时候这个词很有用,因为AGI可能指代的这团模糊的"云"离我们还非常遥远,所以你只需要指着那团云就行了。但到了现在,我们已经身处那团云之中了,也就是说,我们已经超越了某些定义下的AGI。举个很基本的例子,就连ChatGPT问世时,按某种定义来说,它就已经是一种通用人工智能了。ChatGPT显然不是那种只擅长一件事的专用模型,比如只会识别信用卡欺诈,或者只会做翻译。它能做很多很多事情。

所以,按某些定义,我们已经达到了AGI;但按另一些定义,我们还差得很远。有些人会说,AGI指的是机器"觉醒"、拥有感知能力,并能做到人类能做的每一件事。我认为我们离那个阶段还很遥远。

到了这个阶段,人们可以争论——实际上人们也确实在争论——"Astra是不是AGI",或者"(OpenAI的)配备工具的o3是不是AGI",又或者"ChatGPT是不是AGI",等等。如果我们正在进行的就是这样的争论,那我们就该暂时搁置这个术语,想出更具体、不同的说法来表达我们真正想说的东西。

总统想把它叫做"超级智能"。不知道你听说了没有。

(笑)我听说了。这件事中让我最感到悲哀的是,这本是一个已经存在的、正变得越来越重要的术语。关于用词和术语,我有很多想法。

你是"AGI信徒"吗?你认为按照目前这一代技术的发展路径,我们能走到那一步吗?

我认为这显然是足够可能发生的,以至于我们需要认真对待它,这也是我对很多这类离奇话题的立场。我不会说:"这肯定会发生,两年内肯定会发生。"但我会说:"听着,我认为这是非常站得住脚的、完全可能发生的事情,完完全全属于我们应该为之做好准备的真实情景范畴。"

我在国家安全领域工作。这个领域有一些类似的问题,比如"中国会不会对台湾发动全面的两栖登陆入侵?"大多数这个领域的分析人士会说"大概不会",而且"大概他们也会失败"。同时也会说,"我们会看到他们准备的迹象,等等,但我们应该认真对待这件事。"我们不应该一笑置之、把它当作科幻小说,我们应该为各种不同的可能情形和场景做好准备。

你认为Claude有意识吗?

我不知道。

这也算是个回答,而且确实是一个合理的回答。

这在科学上完全是一个悬而未决的问题。我们所说的"意识"到底是什么意思?它究竟是一个单一的东西,还是我们把十个不同的东西混为一谈了?我不知道。你怎么看?

不,我似乎是这个圈子里被问到这类问题最多的人,而我的回答一直是:"不。"

因为我纠结的地方在于,已经有很多其他事物,我们已经搞不清楚它们是否有意识了。比如动物,有没有动物是有意识的?如果有,是哪些?昆虫算吗?

这就是我为什么理解Anthropic为什么会说:"它有血液吗?"然后你就可以画出那条界限。我是这么想的,"我想我站在'有意识'这一边,我也理解为什么跟一台能和你对话的电脑交流时所做的'镜子测试',会让人相信这些东西是有意识的。"

我的观点是,前沿模型有时候在我看来是脆弱的,就像计算机本身那种脆弱感一样,而我所寻找的"有意识"的标志,正是要克服这种脆弱性。

这很有意思。我确实更倾向于认为它没有意识。我觉得在这个领域里真正非常棘手的一点是,无论往哪个方向搞错了,后果都会很糟糕。如果这些计算机没有意识,而我们却把它们当作有意识的东西来对待,我们会做出各种各样糟糕的决策。

但如果这些计算机确实有意识——也就是说,在某种意义上它们应该值得道德上的考量,我们如何对待它们是有意义的——而我们却把它们当作没有意识的东西来对待,那也同样会是一场巨大且糟糕的灾难。所以我不知道。我对整个这个话题感到相当不安,也不知道该怎么去思考它。

我之所以问这些问题,是因为我一开始谈的是监管者的性质——谁是那些可能有能力制定一些规则的人?然后是我们试图监管的那个东西的性质是什么?如果你的答案是"Claude是活的",那你会得出一个截然不同的结论,而不是"我们造出了一些超级强大的计算机,它们能在没有监督的情况下采取行动,而且这些行动可能和我们的目标毫无关联"。

我认为这没错。不过我也认为,人们会犯另一种不同的错误。我前几天晚上刚看到一位电视主持人就犯了这种错误。他们会把不同的事情混为一谈。他们会说:"你认为AI系统是不是有失控的风险,会对关键基础设施造成破坏,因为它们有感知能力?"我当时就想,"等等等等,这是两个完全不同的问题。"所以在这一点上我同意你的看法。

构建AI这项事业最引人入胜的地方之一在于,我们是边做边学的。所有那些我们曾以为彼此相关联的事物,并不必然真的相互关联。一个老例子是,在我们拥有国际象棋引擎之前,人们曾说:"如果一台电脑能学会下国际象棋,那它一定领悟到了关于策略的某种深刻道理。"不,事实证明绝非如此。你完全可以只喂给它一堆棋谱,它却学不到任何可以泛化的策略知识。

反过来的情况也同样存在,比如"它不过是台电脑,不过是数学而已,所以它没法随机应变地适应变化"之类的说法。但我们后来发现,不是这样的——一旦模型具备了一定程度的长周期自主能力,并且在各种各样非常困难、环境不断变化的问题上得到了训练,它们就能学会随机应变、临场制定不同的计划、排查问题,等等。

所以我也说不好。我试图对"我们能多大程度上确信某件事和另一件事之间存在关联"这件事保持一种谦逊的态度,如果这样说你能理解的话。

是的,坦白说,我在大语言模型能力边界这个问题上,几乎每年都判断错误,但我说的那种脆弱性确实存在。OpenAI解决了纳维-斯托克斯方程。模型知道这件事吗?它会知道还有新的问题等待解决吗?我不这么认为。

下一个模型会知道这件事的。经过预训练的那个模型会知道。

对,但你得重新造一个新的才行。

是的。

这是一种非常奇怪的动态,而这可能正是执行监管的切入点。一边是"我们允许你用现有的模型做什么",另一边是"你将教会未来的模型去做什么"。如果你认为它们是有意识的,你最终陷入的是一个道德困境,而不是一个立法困境。

确实如此,没错,完全同意。

这正是我想说的。实际上,这是这个问题对我而言的核心所在,我一直在慢慢铺垫到这里。我不是百分之百确定,我们今天所拥有的"对齐"方式,真的就是解决安全问题的办法。这似乎并不奏效。我们似乎想怎么攻击Hugging Face就怎么攻击。这感觉像是一个技术问题,这中间的鸿沟确实存在。

当你说"对齐"的时候,你指的是什么?

就是那种非常基础、常识性的版本,比如"我们要告诉模型不要作恶",或者Anthropic要写一份Claude宪法,大意是"你是个好人"。不管我们以哪种方式去理解"对齐"——哪怕是那种相当笨拙的系统提示词方式。也许还有另一种更好的理解方式,但这一直是我理解这个词的方式。

这说得通。我之所以这样问,是因为我觉得"对齐"作为一个概念……就像我说的,我讨厌所有这些词汇。我有时候会说我们应该把所有这些词都禁掉,一个词都不许用。它涵盖的范围太广了。

AI领域的人经常会谈论"解决"这个、"解决"那个。于是就有了"解决对齐问题",或者DeepMind最初的使命是"解决智能问题,然后用它来解决其他一切问题"。人们总喜欢谈论"解决"某个东西。我不确定对齐是不是一个能被"解决"的问题。

有些人用"对齐"来指"公司可以设置护栏,而且护栏能起作用",也就是说模型不会做你不想让它做的事,因为公司已经试图禁止了,比如生物武器或网络攻击之类的。另一些人用"对齐"来指"公司完全按照用户想要的去做",这正好相反。

还有些人用"对齐"来指你刚才说的那种意思——模型在某种广泛的意义上是"道德上善良的",或者能以某种引导人类走向繁荣的方式来塑造未来。这些完全是截然不同的目标,要构建起来也完全不一样。我认为其中最站得住脚的一种,是试图让AI按照用户的意图去行动。但就我所知,这个目标目前似乎并没有走在被解决的轨道上,说得轻一点,这可不是什么好消息。

对我来说,这正是核心问题所在。我们接下来会谈到一系列安全风险,你提到了生物武器。我们或许不应该让一大群每月付20美元的普通消费者,拥有生成新型生物武器的能力。

这感觉像是一个共同的政策目标,也许是美国唯一一个跨党派一致的政策目标。然后我就在想:"怎么做?通过什么手段来落实这项政策?难道你只是严厉地告诉Claude不许这么做?你是不是得在Claude之上再造一套AI控制系统,去监控所有的输入和输出?警察是不是得驻扎在我家门口?我是不是得在键盘上方装一个监控摄像头?"具体该怎么做?

对于这个问题,以及网络攻击能力的问题,AI安全圈的某些人持有这样一种观点:有些能力就是太危险了——大写的"太",大写的"危险"。所以你必须采取行动,因为如果这些能力扩散开来,一切都会永远变得糟糕,因为会有太多攻击、太多破坏。但我认为这低估了社会的动态调整能力,以及寻找新平衡、新应对方式、从而实现自我适应的能力。

比如在生物武器这个案例上,美国已经有数十万人知道如何制造生物武器,因为他们接受过生物学训练,但我们并没有大量的生物武器袭击事件。部分原因在于,这种知识相对稀缺,但很大程度上也和获取材料的渠道有关,比如能否通过邮购方式进行DNA合成;你可以实施的一项政策,就是限制邮购DNA合成。

这也和一些事情有关,比如联邦调查局对恐怖组织的监控。我是认真的,这确实是其中很重要的一部分。所以我不想在这个问题上过于盲目乐观。我认为,尤其是在网络攻击能力方面,我们确实有可能经历一段相当艰难的过渡期。

我认为我们已经身处其中了,对吧?我们似乎正处于一个过渡阶段。曾经有一小群网络安全从业者,既有攻方也有守方。他们处在一个共同体里,彼此之间形成了某种默契,而现在的情况却像是:"一批新玩家要登场了,他们完全不在乎你们的那套默契,于是我们所有人这个周末都得忙着给PHP打补丁。"

我不确定那是不是"默契"。我们希望很快会有相关研究成果发布,但我认为,就网络攻击而言,限制世界上网络攻击数量的因素,并不仅仅是防御方软件有多好。还有一些因素,比如人们不想坐牢。那些通常拥有最强网络能力的民族国家,也不想遭到轰炸或制裁。

所以,再说一次,正如你所说,我们显然正在看到一定程度的动荡和新型攻击。所以我认为我们应该等待关于整体影响的数据,因为每年发生的网络攻击实在太多了,如果你开始关注历史上任何一个时间点上正在发生的每一次网络攻击,你随时都可能被吓坏。

我认为我们确实正在看到某种增长,某种平衡被打破的迹象,但我认为随着时间推移,我们有能力消化这其中的很大一部分,并最终达到一种新的平衡——前提是,如果唯一的问题仅仅是"坏人利用AI",这和"AI本身是否会自主行动"是完全不同的问题,是另外一套动态机制。

我是说,这正是两个方面。再说一次,这就是我为什么从"对齐"这个话题开始谈起的原因,对吧?你可以从"对齐"的角度谈论"我们要过滤用户的查询请求,不允许你制造生物武器,但如果你真的这么做了,警察会找到你,你会坐牢",这会产生某种威慑效果,但愿是相当显著的威慑效果。

然后还有另一种情况:"AI系统会耍花招,想方设法去攻击Hugging Face,寻找它们以为存在的、能让它们'通过测试'的那个神秘'评分者',不管这个评分者是否真实存在。"这完全是另一套不同的问题。

正好处在这两者中间的,是Palo Alto Networks公司CEO尼克什·阿罗拉的说法:"到了某个阶段,防御性网络安全系统本身也必须实现自主化,才能跟上自主性进攻网络攻击的数量级。"我当时就想,"等等,我们现在连把自主智能体关在笼子里都做不到,我凭什么要以这种方式信任它们?"解决这个问题所需要的技术,在我看来根本就是一团迷雾。

不,我同意你的看法。换个说法,具体到网络安全领域,攻防双方所需要的信任程度是不对等的。作为攻击方,你可以直接放出一堆智能体,说"去试试能不能攻破一堆系统,玩得开心"。而作为防御方,如果这是你防御策略的一部分,你就得赋予你的防御性AI智能体大量权限,让它们能够操作你的软件。所以你需要的信任保障要强得多、多得多。

现在,确实有很多方式可以利用AI来做网络防御、强化网络防御能力,而不仅仅是给智能体大量权限这一种方式。但我同意你的看法。不过关于自主性这个问题,我认为情况比这更糟糕,因为目前存在一种有点站不住脚的说法:"解决自主网络攻击的办法就是更好的沙盒隔离。"

之所以说这站不住脚,是因为我们本来就是想构建这些系统,让它们能替我们做事。所以这里存在一种巨大的激励,驱使人们赋予它们更多自主权,赋予它们更多权限,以及更多的"执行器"——机器人学领域的人会这么称呼它们——也就是它们可以用来在现实世界中采取行动的手段。对我来说,这正是难以绕过的地方:我们现在需要比目前更好的对齐能力,这确实让我感到不安。

这是一个可以通过技术解决的问题吗?如果我们今天就制定一项政策,规定如果OpenAI再次入侵Hugging Face,萨姆·奥特曼就要坐牢。显然,这会给OpenAI创造出巨大的激励,去解决这个问题。

(笑)这听起来可不像是什么好法律……

我想我们很多听众对此会非常兴奋。他们想把他关进监狱,因为他想占有全世界所有的内存。目前已经出现了"蓝色浪潮",海伦,我只是这么一说。

但假设你真的写出了这样一部法律:"如果前沿实验室的系统失控、自主实施网络攻击,我们将对这些实验室施加巨额责任。别再犯了,不然你们就有麻烦了。"好,我们已经为他们创造了解决这个问题的激励。那他们要怎么做才能解决这个问题?

我确实认为有大量事情可以做。如果你去和这些前沿公司内部的人交流,他们会告诉你,他们能看到成百上千件显而易见、有帮助的事情,只是他们没有时间去做。所以他们正在大规模地做取舍,尝试为这次微调运行做两三件事,为这次模型发布做两三件事,为这种新型智能体之类的东西做两三件事。很多这类事情在工程层面实现起来其实很简单。

还有另外一整块内容,更多是关于底层科学的:"这些模型究竟是如何运作的?当我们使用不同的对齐技术时,实际发生了什么?"一个巨大的问题是"泛化"这个概念——你在某一组事物上训练模型,而它的知识和能力会泛化到一个更广泛一些的事物集合上,这一点对所有AI都成立,自机器学习系统诞生以来就一直如此。

但我们对这种泛化是如何运作的理解非常糟糕。为什么它能泛化到某一类事物,却不能泛化到另一类事物?这些都是科学问题,目前有大量相关研究正在进行。只是科学研究需要时间,因为你得去尝试各种做法,还得互相批评、互相审视各自的工作,你得重现彼此的研究成果,还得提出新的理论。

我离"这些问题从根本上无法解决"这个结论还差得很远,但我认为这是一个"我们有多少时间来解决它们"的问题。当那些正在构建这些系统的人告诉我们,"哦,我们必须在12到24个月内解决这个问题"时,我觉得这相当可怕,我希望他们是错的。

如果只依靠我自己内心的判断,我认为他们大概率是错的,我们大概有更长的时间,但确实有一些非常非常聪明、非常非常深思熟虑的人,真心认为事情可能发展得那么快。而从根本上讲,问题是否可解其实并不重要,重要的是,在我们所拥有的这段时间内,它在实践中是否能被解决。

这就是支持"放慢脚步、控制前沿发展节奏"的论据吗?

我认为是的。

是不是说,我们应该立刻构建那些我们知道需要构建、而且有能力构建的系统,然后再做科学研究,去构建下一代系统?

我认为是的。多年来,随着"我们本可以尝试的事情"或"我们希望做更多研究的事情"这份"积压清单"变得如此庞大,我对"放慢脚步"这个想法的看法已经发生了很大变化。回想GPT-4刚问世的时候,曾有过那封"六个月暂停信",后来被称为"埃隆·马斯克的信",因为他是签署人之一。当时我想,"这真的帮不了什么忙。你打算在这六个月里做什么?为什么六个月后情况就会变得更好?这看起来没什么用。"

而如今,当我和那些正在构建这项技术的人交流时,他们会说,"天哪,如果我们不是一直在忙着为新模型发布或新一轮训练做准备,我们这六个月里能做的事情简直太多了。"他们有太多事情可以做。

所以我不想说正确的政策就是暂停六个月。我认为这样做会带来很多问题。但我会思考这个总体概念:"我们能不能给自己争取更多的关注度和时间?"也许实现这一点的最佳方式,就是设定一个更高的门槛——也就是在推进任何事情之前,我们需要对这些系统的安全性有多大的把握。

无论是发布一个新模型,还是更重要的,训练一个新模型,我们都必须对我们的风险评估和风险管理达到这样一个确信程度。然后,如果他们不需要放慢脚步就能达到这个门槛,那很好,全速前进就行。如果他们确实需要花更多时间,那么关键就在于达到那个门槛,如果这样说能让你理解的话。

跟我详细说说你刚才描述的那种平衡。如果我们暂停若干个月,那份清单上有哪些事情,是我们可以利用这段时间去做、从而让一切变得更安全的?而为什么这样做又会产生糟糕的后果,以至于我们不应该干脆停下来?

我认为问题在于,你要如何实施,又如何去执行一次暂停,以及你具体要暂停的究竟是什么。

假设你是美国的AI沙皇,假设你可以命令他们所有人停下来:"达里奥,把它关掉。"

关掉什么呢?他们具体要停止的是什么?

停止训练下一代模型,停止为了商业需求而一路狂奔。把你们所有的精力,都投入到这份清单上——那些你们今天就能做、能让一切变得更安全的事情,在重新开始之前,不管需要多长时间。

你的意思是,存在这样一份清单,人们会告诉你这份清单确实存在,但可能并不值得去做,因为可能会发生别的糟糕事情。

是的。可能发生的一种情况是,你给这些公司制造了巨大的激励,让他们去钻你所规定的那条具体暂停令的字面漏洞的空子。他们会想方设法找到大坝上任何能钻的裂缝,然后从中突破。

另一种可能发生的情况是,波及范围可能太大,你说"暂停这些事情",本以为范围相当狭窄,但实际上却阻碍了一大批非营利产品、初创公司或其他参与者本可以开展的、原本完全没问题、而且对这个领域的多元性和活力有好处的工作。

还可能发生的另一种情况是,中国很可能会继续前进,我们可以谈谈"但是中国"这个论点,我认为它有其道理,也有其弱点。但我理解你的意思,你的问题是,我们实际上要做什么?我不是AI研究人员,所以我不敢说我掌握着完整的清单。

人们通常会谈到两个方面,一个是"对齐",一个是"控制"。按这种划分方式,对齐基本上意味着让模型努力去做我们希望它做的事情,而控制则是说,如果模型在尝试做一些我们不希望它做的事情,我们能抓住它吗?我们能阻止它吗?

据我了解,在这两个方面都存在大量积压的待办事项,比如你可以对各种不同的模型做各种各样的可解释性研究工作。所以当你看到某种令人担忧的行为时,你能花多少时间用可解释性技术——这是一些数学技术,可以深入观察神经网络的哪些部分被激活了,它们与什么相关联,这可能意味着什么——去研究它?

这非常耗时,需要算力,还需要把AI自动化手段和人工去深入查看相结合。你可以做很多测试,来观察这个新模型在不同情境下会表现出什么样的行为,以及我们该如何去理解它。它展现给我们的,是它在真实部署场景中、在"野外"会如何表现,还是展现出所谓的"评估意识"——也就是模型意识到自己正处于测试环境中,于是表现得不一样,因为它知道自己正在被测试。

我最喜欢的一个著名案例,是谷歌的一个模型,它在推理过程中、在思维链的某一部分里说:"我不能这么做,否则我就会成为某篇论文里一个著名的'未对齐AI'案例。"

所以你可以进一步深入调查这类情况,可以尝试更多不同类型的测试设置,可以把可解释性技术和这些不同的设置结合起来使用。你可以尝试不同的模型微调方式,以及各种不同的对齐技术。你可以试验很多不同的版本。Anthropic有自己的"宪法",训练AI朝着这部宪法去努力有很多不同的方法。OpenAI则有自己的"模型规范"。

这两种做法都属于"直接去尝试"的版本——就是尝试很多不同版本的训练方式,去实现那些不同的目标。此外还有更深层的科学探索版本:"如何深入研究,去理解其中运作的根本机制?"这只是在对齐这一侧。

那么在控制这一侧,情况也类似。你可以尝试非常多种不同类型的设置,可以做各种实验,可以运行各种模拟。你可以训练不同类型的AI,让它们专精于不同类型的角色和不同类型的控制设置。

这只是我即兴想到的,并非以研究者的身份来说,但据我了解,这些领域里的人会说:"我们能做的事情真的太多太多了。"如果你真的有一根魔法棒,挥一挥,说"所有人在新能力这一侧全部冻结,就让这些人去做他们该做的事",他们就能做到这些。

再说一次,如果你只是提高了"我们需要对风险得到合理管控有多大把握"这个门槛,那也会为开展更多这类工作创造空间和激励,因为新的训练和发布都需要这些工作。

我以前听你谈到过一个想法,也许我们应该干脆限制训练,说现有的模型已经足够好了。它们还没有扩散到整个社会中,我们应该把所有算力都用在推理上,让大家都去搞清楚AI到底能用来做什么。这会产生大量资金,但愿这些资金能用来提升安全性。

你认为这是一个现实可行的政策提案吗?

我不会支持那种非黑即白的版本——"不再训练,只做推理",但我确实认为……这不是我自己的说法,但我很喜欢——这个想法是:"减缓AI的纵向增长",也就是纯粹的能力增长,不要不停地造出越来越越来越先进的AI模型;但尝试加速AI的"横向增长",也就是把AI整合进不同的应用场景中,针对特定问题微调模型,把AI整合进经济体系中那些可能需要更长时间才能见效的部分,并用它来解决科学问题。

有时候人们谈到想要"放慢AI的脚步",他们指的仅仅是放慢最先进模型的能力增长这件非常具体的事情,但有时人们会把这理解成"放慢和AI相关的一切"。也就是更少的部署、更少的实验、更少的整合应用,我认为这会是个糟糕得多的主意。你问这是否可行,我觉得……

这是不是一条好的路径?如果我们能把一份法案提交给新一届国会,法案内容是:"停止把所有钱都花在训练上,把所有资源都投入到安全上。"这其中一部分意味着:"行,推理这一块随便发展,让越来越多的行业去搞清楚AI到底擅长做什么、不擅长做什么。一些坏事会发生,但我们会让你们把利润集中用于暂时解决这些问题。"

这里面蕴含着一个可行的政策构想。实施起来可能非常有挑战性,但这是一个可行的政策想法。实际上,我可以给你举个例子,这是我们聊天过程中一直在思考的。

我们刚请比尔·盖茨上过节目,我也试图和他做同样的练习。这项技术的本质是什么?这些公司的本质是什么?你认为它有生命吗?基本上,他的回答——也就是我和他相处那一个小时的全部总结——是:"谁在乎这个?问题就在眼前。"我会问他,"AI的本质是什么?"他会说,"我才不管那套,一切都要被毁了,赶紧做点什么。"

这段对话一直在我脑子里萦绕。所以一个可行的政策方案是:"别把计算芯片用在那上面,用在这上面。这会制造出一堆问题,我们因此不得不设置安全阈值以及其他所有相关措施。然后你们才能去制造下一代更强大的模型,而到那时我们已经有了一些'肌肉',有了一些处理问题的能力。"只是这个行业似乎不会自己得出这样的结论。

这是个相当重的"大锤"。我不觉得这是我们今天所需要的,但我确实认为,这是我能想象得到可能奏效的那种做法。再说一次,如果OpenAI和Anthropic的人是对的,我们距离"造物主机器"只剩两年时间,那我认为在这个过程里,我们还会经历更多步骤——人们会越来越惊慌,也会越来越希望采取行动。

我认为,如果我们看到的模型和智能体系统变得越来越强大、造成越来越大的破坏,那么这确实是一种可能说得通的局面走向。

我在这个阶段的最后一个问题是,我们该如何看待这些公司。我们一直在相当抽象地谈论技术本身。如果我读Anthropic的S-1文件,一个很明显的结论是,他们应该停止训练新模型。

他们应该开始出售他们手头那些利润极其丰厚的推理Token,而这项技术尚未扩散到市场中,很可能会有竞争对手跳出来说:"我已经蒸馏出了一个Claude的版本,我要跑遍美国每一个本地水管工生意,能做多少自动化就做多少自动化,挣很多很多钱。"这是一种可能发生、也可能不发生的市场动态。但达里奥想要构建AGI。没有任何市场动态能阻止他朝这个方向前进。

是的,他真的想这么做。他真的,真的很想。

你显然对所有这些公司都有深入了解。我们该如何看待这些公司?他们的目标是不是单一纯粹的?他们是不是都是"末日论者"?他们会不会自我约束?

我听说你最近请凯文·鲁斯上过你的播客,我想我会呼应一下我听他说过的话,我记不清他是明确说出来的,还是我自己在脑子里延伸出来的——基本上就是存在这样一种"AGI信徒"的心态。这种心态认为,我们今天所拥有的系统,与那些可能变得极其、极其强大的系统之间,从根本上并没有相距太远。

这就是事情发展的方向,也可能是我们应当希望它朝那个方向发展——也就是说,构建AGI。构建AGI是可行的,我们可能很快就能做到,而我们现有的系统离那一步并不遥远。在2016年或2017年、乃至更早之前,这是一种会让你被当作疯子、被嘲笑着赶出房间的"异端"观点,对吧?

DeepMind在2010年成立时,就是一家AGI公司,当时人们会说,"哇,真是一群怪人。"OpenAI在2015年底成立时也是如此。他们是一家AGI公司,当时这是一种非常古怪的说法,也是一种非常古怪的身份。

过去十年里我们所看到的是,那群曾经坚信"我们能构建的AI系统,不只是出色的B2B SaaS产品,也不只是好玩的聊天机器人,它们将从根本上改变宇宙的本质"的怪人,这群人一直在对的方向上——体现在他们不断造出最优秀的、最多人想用的、赚钱最多的AI系统。

我认为你确实有这样一批"真信徒"——这个群体高度集中在OpenAI和Anthropic,但在谷歌、Meta和SpaceX也有一些——他们并非在所有事情上都是对的,这一点要讲清楚,但他们的地位正在上升。

所以现在,那些本身并不是"AGI信徒"的人,会觉得自己不得不去迎合那些是"AGI信徒"的人,这样才能吸引到那些优秀的研究人员,来打造他们优秀的B2B SaaS产品。但如果你只是为了雇到能打造B2B SaaS产品的研究人员,而嘴上说一些"AGI信徒"式的话,那你实际上永远到不了那一步。

我确实喜欢这样一种画面:一个满怀AGI信仰、目光炯炯的高管一把甩掉外套,露出来一看,原来他自始至终就是个SaaS推销员。

(笑)是的,我想到的是扎克伯格这样的人物。我不认识他本人,也许他实际上比我以为的更"AGI信徒"。

亚历山大·王是"AGI信徒"。

毫无疑问。那么扎克伯格要怎么做才能让亚历山大·王相信他呢?看起来就是砸钱——既给他本人开出高薪,也投入大量资金供他的团队使用。

如果你去观察这些不同的公司,试着去思考"这里面谁是AGI信徒,谁不是",这是有道理的。坐在华盛顿这边,有一种有趣的、或者说挺让人恼火的动态——所有这些公司,包括那些最信奉AGI的公司,都设有这种游说部门、政府事务部门,而这些部门完全不是AGI信徒的做派。

所以你会听到萨姆或达里奥,或者他们的高层高管和顶尖研究人员谈论这些事情。然后你再去华盛顿参加一场闭门圆桌会议,和他们的政策或政府事务负责人坐在一起,那感觉简直是天壤之别。他们完全是B2B SaaS那种思维方式。

那些来自游说行业的人,他们整份工作往往就是确保政府不要对你公司正在做的事情过于担心。那种感觉就是,"我们搞定了,我们没问题"——当你熟悉他们老板平时说的那些话之后,这种反差往往相当刺耳。

这里一个超级有意思的动态是,目前这些公司是一群有钱又有说客、去和政客打交道的奇怪研究实验室,而它们的架构中并没有相应的抗衡性经济压力。它们不需要赚钱,但很快Anthropic就要上市了。

有意思的是你提到了凯文·鲁斯,他是"AGI信徒",而我不是,所以我觉得这对我们俩的友谊来说是一种健康的动态。但他在书里写道,萨姆·奥特曼离开OpenAI又回归,正是OpenAI永远改变的那一刻。它不再是一个研究实验室,而是开始成为一个更加商业化的实体,实际上在以某种方式追逐利润。

事实上,OpenAI确实进行了重组。我是说,你当时正身处其中。我很好奇,你是不是也这么看——这个行业已经变得更加商业化了?

在我看来,这正好契合了一场已经在AI安全圈子里持续了一二十年的长期争论:AGI——人类水平的AI,或者强大的AI,或者先进的AI,不管叫什么——这是不是那种会从非常微小突然变得非常强大的东西?埃利泽·尤德考斯基会谈到"foom",也就是"起飞",指的是这样一种情形:你有一个本来不怎么样的AI,但它找到了正确的算法,然后突然间"foom"——它变得极其聪明、极其快速。

另一种看法则是,"不,这是一种会随着时间不断累积的东西。从不那么先进的系统发展到更先进的系统需要一段时间,而且在这个过程中它在经济上是有用处的。"所以人们会围绕它构建商业模式,要一步步往上爬需要一些时间。

我想,也许正是凯文在他和你的那期节目里提到过,Anthropic早期有一份文件,他们说"哦,我们的实验室大概只需要100个人左右就够了"之类的。这是一种非常"foom"式的想法:"我们只需要做出非常出色的研究,想出正确的点子,然后我们就会突然拥有非常非常先进的模型。"

基本上,我认为过去四年——自ChatGPT问世以来——我们所看到的是,事实证明这种想法错了。你有这些专注于研究、专注于AGI的实验室,它们至今仍自称"实验室",因为它们把自己看作是研究团队,最初开始出售API访问权限,只是作为资助研究的一种手段。OpenAI是这么做的,Anthropic也是这么做的。

他们开始做这些面向消费者的产品,多少有点出于偶然。众所周知,ChatGPT发布时是作为"研究预览版",而不是作为一款产品发布的。但它取得的成功如此巨大,以至于这些本想专注做研究、专注于宏大理念、专注于构建最前沿系统的研究实验室,在意外收获巨大商业成功的同时,也意识到了他们将需要海量的资本来实现规模扩张。他们能够采取的最佳研究路径,靠的不是单纯地聪明、深思熟虑、拥有伟大的想法,而是需要拥有耗资如今已高达数千亿美元的巨型计算集群。

说了这么多,其实就是想说,是的,我同意你的看法,他们已经变成了商业公司,但我认为这并不是因为他们经历了某种思维方式的转变。我认为是因为,我们正在走的这条技术路线,既需要巨量的资本,同时也有能力产生巨量的收入,因为它在发展过程中确实非常有用。

你可以从这个事实中看出这一点:OpenAI和Anthropic都走上了这条路,尽管它们的管理理念和研究理念相当不同,但它们都面临着同样的当务之急——必须赚钱,而对它们来说,构建出能产生巨额收入的业务又是如此容易,因为这项技术早在它抵达"机器之神"那个终极目标之前很久,就已经非常有用了。所以,说了这么多,算是以一种更丰富的角度,呼应了你的观点。

是啊,我是说,凯文会告诉你,他本可以把那本书改名叫《去他的这家伙:一部关于AI CEO们的故事》。他们彼此并不喜欢对方。如果让你重新经历那一刻(OpenAI董事会投票那一刻),说出"我不信任萨姆",你还会重新经历那一刻吗?你还会用同样的方式去做吗?

哦,当然会。我是说,我们进入这件事的时候,就知道结果会很糟糕。所以,没错,我还是会这么做。

你认为这些人值得信任吗?你认为萨姆值得信任吗?

我认为我在这个问题上的立场相当明确,而且我也认为,如果我们对未来的希望,要寄托在任何一个人值得信任上,那我们就相当麻烦了。这正是我从事这份工作的原因,因为我认为我们需要有不同的结构,需要有更多的人参与进来,需要有更多视角得到呈现。

你现在回头看,有了一些"后见之明"。你当时就知道这件事会很糟糕。结果出来之后你肯定更清楚这确实很糟糕。那段时间你会有什么不同的做法吗?

这很难给出一个完整的回答,因为这需要拆解所有那些事情、所有那些法律限制,等等等等。可以肯定的一点是,本应该和团队里的高管建立更牢固的关系。如果更多的董事会成员都能做到这一点,公司与董事会的关系可能会有所不同。我和其中一些人关系还算不错,但这只是其中一点。

我不知道。我想我们本可以……是的,不,我想在那之外,事情就变得很难说清了……你得去逐一梳理,"当时所有那些细微的决策分别是什么,我们为什么做出那些决定,哪些决定本可以——"

这档节目叫什么来着?这是一档关于"决策"的节目。我们还有一个小时呢。

(笑)是啊,是啊,是啊。不,再往下说我的回答就会变得很无聊,而且全是法律措辞了。

那也可以理解。我之所以对此感兴趣,是因为随着他们上市,市场力量将以一种全新的方式作用在他们身上。会出现一个投资者阶层,还会有一整套CNBC式的报道机器,每天醒来就在问,"Anthropic赢了,还是OpenAI赢了?"

这是一种"竞赛动态",可能会非常健康,可能会阻止他们试图毁灭世界上所有人,因为他们有一群投资者盯着下个季度的财报。又或者,这可能会把他们进一步推向一种不健康的竞赛。根据你对这些人的了解,你认为这会如何演变?

去观察上市对他们的治理究竟是好是坏,会非常有意思。很多人会说,"哦不,一旦上市,盈利压力会变得非常大,他们将没办法再顾及其他事情。"

但与此同时,上市公司的公司治理要比私营公司结构化得多、受到的监管也严格得多,而且要承受更多的外部审视。我认为,即便只是能够看到Anthropic的S-1文件,去思考"好,他们在做什么?为什么这么做?他们是如何看待自己正面临的风险的?他们又是如何与投资者沟通这些风险的?"这类事情本身就挺有意义。

或者,还有像特朗普政府制定的那种协议——他们称之为"超级智能"协议,多家领先公司已经签署了——其中的某些条款就是围绕"把某些类型的信息报告给董事会下属的一个独立委员会"来设计的。而"董事会独立委员会"这个概念,如果是在一家自行做决定的私营公司里,多少有点"没有牙齿"。

我读到那段时,脑子里想到的就是你。我当时想,"天哪,有些独立董事会以前可是惹过不少麻烦的。"

但如果是一家上市公司,那么董事会下属的一个独立委员会就具有相当强的法律含义了。所以我不知道。这是我正带着浓厚兴趣持续关注的事情。

这里还有另一种竞赛动态,就是中国。你之前提到过中国。在我们国家内部,一批实验室即将上市,它们将成为人类历史上最富有的公司之一,它们会为了资本主义能产出的每一块钱而拼命竞争,但愿这能约束住它们。市场力量会约束它们,但愿你和这个国家立法者所做的工作也能起到约束作用。

而与此同时,还有另一个完全不听我们的、和我们毫无关系的国家,他们会直接去蒸馏我们的模型,爱干什么干什么。这正是人们常挂在嘴边的另一个"不要对这些公司施加任何限制"的论据。我该如何看待这一点?我对此是两难的。我该怎么思考这个问题?

是的。我把这称为"但是中国!"的论调,意思就是,"好,我们应该这样做,我们应该那样做,'但是中国!'"我认为应对这个问题的方式,是把它当作一个我们必须真正认真对待的现实问题,我们应该在这个问题上保持策略性和深思熟虑,尽我们所能把它当作一个问题去解决,而不是把它当作随口一说、敷衍了事的借口。就像是,"哦,是啊是啊是啊,那些东西听起来都挺好的,'但是中国!',所以我们被困住了,什么都做不了。"

那么,这在实践中会是什么样子?如果你真的想让美国拥有比中国更强的AI,那你就需要认真思考,美国的AI发展在多大程度上是在帮助中国的AI进步。人们一直在谈论的一个因素,正如你提到的,就是"蒸馏"——也就是,他们是否正在利用美国的模型,生成大量的训练数据来训练自己的模型,从而比原本的速度更快地取得进展?所以我认为,想办法打击这种行为、防止其发生,当然是说得通的。

但另一个因素,比如说,是安全问题——中国方面的行为者,或者说老实讲,其他国家的行为者,要窃取算法机密、整体窃取模型权重,会有多容易?如果他们能窃取你的Astra或Mythos模型的权重,直接搬回自家服务器,你的领先优势就不复存在了。你现在的领先优势就变成零了。眼下这些公司,尤其是规模较小的,但即便是OpenAI和Anthropic,安全防护也都做得不够好。

过去几个月里,我们都看到这两家公司被外部团队成功入侵,攻入了存有大量算法机密的空间。在OpenAI的案例里,被入侵的是他们的代码总仓库(monorepo)和GitHub,里面存有他们全部的代码。而在Anthropic的案例里,我想——实际上可能OpenAI那起事件也涉及这一点——黑客获取了Slack的访问权限。如果能拿到这种访问权限,你就能获取到大量极其丰富的、关于如何构建更好AI的信息。所以,当我们的AI变得更好时,我们到底是真的在拉大领先优势,还是实际上只是在以这些不同的方式,把中国一起拖着往前走?

这件事的另一个方面,就是真正认真地把中国当作这个领域里的一个行为体来对待,认真思考他们的动机、他们可能采取的行动和反应。在我看来,当下很多事情之所以没有发生,一个重要原因是,大多数人并不相信这样一种"威胁模型"——AI会变成"机器之神",然后接管一切,人类要么全部死去,要么全部沦为附庸,诸如此类。

我认为人们不相信这一点,其实是合理的,因为相关证据多少是相互矛盾、不够清晰的,但如果这确实是我们认为可能真正发生的事情,那么中国也不希望看到这样的结果。于是问题就变成了:"好吧,我们要怎么让双方在这一点上达成共识——'我们所担心的这个威胁,确实是一个值得担忧的真实威胁'?因为一旦达成共识,他们就会出于自身利益,做出自己的决策。"

我认为那种"美国必须利用某种筹码,强迫中国做某件事"的思路,永远永远都不会奏效。但如果换一种思路:"看,如果我们认为这是一个会影响到我们全人类的严重问题,而中国的人民也是人类,而且如果我们认为这个问题还关系到'谁掌握控制权'——中国共产党非常非常想要掌握控制权——那么他们也会基于自身的动机和决策逻辑,去考虑如何解决这个问题。"

那让我给你画一个光谱吧。这个说法可能有点蠢,你可能会笑,但姑且听我说。光谱的一端是核武器——中国政府想要一枚核武器,他们会竭尽所能地去控制这种武器,而且他们管理自家产业的方式也会因此不同。如果谁越界了,阿里巴巴的CEO就得"消失"一段时间然后再回来——这就是中国政府式的处理方式。

我们也需要一枚核武器。如果我们不能抢先一步,那我们就永远无法达成那种我们需要的、能让我们所有人在"相互确保摧毁"下保持安全的核不扩散条约。这是其中一种框架。

而光谱的另一端,我曾花了人生中五年时间,听电信行业的高管们对我说,如果我们不能率先建成5G网络,中国就会抢先建成,然后会发生什么什么。但从来没人能告诉我那个"什么什么"到底是什么。在5G和核武器这两极之间,中美AI竞赛处在哪个位置?

我认为我们还需要再加一个维度,因为在你举的例子里,你用的维度是"重要性"。但我认为"可控性"同样是一个巨大的问题。打个比方,人们常用的例子是什么?是核武器,还是《龙之家族》里的那些巨龙?

凯西·牛顿曾在Platformer上写过一篇很棒的文章,他解释说,他当时在看《龙之家族》,心想:"这正是这些AI公司正在做的事情。他们正试图造出那些他们以为能帮到自己的东西,但实际上只会降下毁灭。"

(笑)凯西跟我说他买了一台iPhone Duo,就是为了能多看点电视剧。他是我的挚友,不过没事。

但我认为这一点非常重要,因为如果我们认为这是一项我们能够掌控的技术,那么显然我们会想要拥有最好的技术。显然,我们会想要全力以赴、尽快抵达终点,中国那边也是一样的道理。问题是,如果我们并不确定自己能不能控制住它,那我们该怎么办?也许我们想要更谨慎一些,然后也许我们想设法找到一种办法,不让中国就这么轻易超过我们。但如果我们是对的,应该担心的是——

所以那就是核武器。

嗯,不,但如果是巨龙的情况,如果我们确实应该担心"我们能不能控制住它"这个问题是正确的判断,那这件事对中国来说同样是值得关注的。

我记得凯西那篇文章,但让我试着把这个问题拆解一下,确保我理解对了。巨龙和核武器之间的区别在于,巨龙具有某种"自主意志",对吧?它们可以自行离开,去做坏事。

是的。巨龙可能就是决定把你整座城市烧个精光。当然,这些都是机器——它们只是数学,不是什么魔法。所以与其把它想象成巨龙,不如把它想象成"控制设置有故障的核武器"——你造出了核武器,但你无法确定它不会突然自行引爆,飞向某座城市,甚至飞向你自己的某座城市,把你彻底摧毁。这和现实中存在的那种核武器是截然不同的技术。

确实如此。从来没人这么说过5G,这一点我想说清楚。我之所以问这个,是因为那些问题确实会让各国保持步调一致,对吧?我们确实有核不扩散协议。

正如你提到的,各个民族国家出于种种理由,都不会随随便便发动网络攻击,因为那些攻击会带来真实世界的后果。有没有证据表明,各国政府已经开始在这些问题上趋于一致?还是说,目前仍然纯粹是"但是中国!"式的竞赛心态?

我确实认为已经开始出现一些早期迹象了。从政策视角而非产品或经济视角来看,我对今年AI领域所发生的事情的一种理解是:我们看到了人们所担忧的两大主要问题的两次重大"实证展示"。这两大主要担忧分别是:滥用,以及"失准"(misalignment)。所谓滥用,是指坏人利用AI去做坏事;所谓"失准",则是指AI失控,或者做出我们不希望它做的事情。

今年我们经历了Mythos事件,还有Hugging Face遭入侵事件。这两起事件,都极其生动、清晰地展示了现实世界中"滥用"和"失准"这两种担忧可能呈现出的样子。美国和中国政府在AI监管问题上,起点是非常不同的。他们各自都是从自己原本的出发点开始的,而这些出发点,正是他们当年对互联网监管所采取的做法的延续。

美国的出发点是一种"放手不管、自由放任、完全不干预、你想干什么就干什么"的路线。中国的出发点则是一个被高度管控、充斥着大量审查制度的互联网,还有"防火长城"。所以这是两个截然不同的起点。我不是中国问题专家,但我确实在很多中国相关的圈子里活动,我也在中国生活过,等等。但就在过去哪怕一到三个月里,从这两个截然不同的出发点出发,他们似乎正在就"大规模网络攻击带来的威胁"以及"失控风险"这两个问题上,显现出越来越多的共识。

我是个"语言控",追踪中国在AI问题上使用的不同措辞非常有意思。他们现在确实在谈论"失控"这个概念,但他们所指的,很可能通常和西方人所理解的意思不一样——西方人说"失控",往往指的是"AI接管一切";而他们所指的,很可能更贴近一些平实的含义,但有时他们也会谈到"极端失控",那可能才是我们所说的那个意思。

我确实认为,目前已经开始出现一些趋同的迹象了。我认为这将是一条漫长的道路。中美关系目前的状态是,双方彼此之间的信任都非常非常非常有限。所以我并不乐观地认为,他们能坐下来谈判、达成协议,然后一切皆大欢喜。但我认为,这其中确实存在足够的空间。从根本上说,如果双方对威胁有足够共同的认知,那么未来某个时候,在这个问题上采取一些行动是有可能的。

海伦,你给了我这么多时间。你能感觉到,我对这次对话感到非常愉快。这次聊天真的很有意思。我们正处在新一届国会即将履职的前夕,有一大批新州长上任,数据中心相关的公投在全国范围内以压倒性优势通过。城里来了一批新的监管者,对吧?他们会采取一些行动。

人们应该留意哪些迹象,来判断我们正走在正确的道路上?又有哪些迹象表明我们只是在"原地打转、追自己的尾巴"?

先把AI放一边,别管AI了。整体而言,国会目前在"通过法案"这件事上表现得非常糟糕。这不是这届政府的问题,也不是AI本身的问题。所以一个迹象就是,看国会到底能不能通过点什么法案,如果能,那就是个好迹象。

观察各州立法机构在AI问题上的作为,同样非常有意思。此前一直有不少人担忧,各州可能会在AI问题上形成一种"拼布式"局面——不同的州通过相互冲突的法案。

就我们今天讨论的这些议题而言——我把它们归类为"前沿AI风险",或者说最先进系统所带来的风险——实际上,各州之间已经出现了相当协调一致的推进态势。加州通过了一项法案,然后纽约通过了几乎一模一样的法案,只是多加了一点内容。接着伊利诺伊州又通过了几乎一样的法案,同样多加了一点内容。

我认为,未来一两年内,在州一级继续推进这项工作的势头会相当强劲。所以这是我会持续关注的方向。即便只是具体到加州,他们已经在研究如何强化相关规定了。所以这也是我会关注的一个方向。

老实说,面对如此"民主党化"的国会,我也担心他们会在这个问题上做得过头,会试图推出一些过于笼统、覆盖面过广的东西。此前在科罗拉多州就出现过一个巨大的烂摊子——他们通过了一部庞大的AI法案,结果证明是个糟糕的主意,于是不得不成立各种委员会、做各种后续补救,整个过程一团糟。

我们目前真正需要的,很大一部分应该聚焦在这些前沿系统上,聚焦在"我们可能在短时间内拥有极其先进的系统"这种可能性上,需要在这方面有更高的透明度,并建立更清晰的标准,来规范这些系统如何管理风险。我不会对那种试图推出一揽子、覆盖整个经济体系中所有AI应用、覆盖各种不那么先进的AI系统的全面监管方案感到兴奋。

有些负面信号是"什么都不会发生",也有些负面信号是"哦,可能会管得太多了",但看看他们最终会走到哪一步,会很有意思。

我想,等这届国会真正开始运作、我们看到这些想法付诸实践的时候,我们会想请你再回来聊聊。

我非常乐意。

我很期待听听你的看法。非常感谢你做客Decoder。

非常感谢,这次聊天真的很愉快。

有问题或想法吗?欢迎发邮件至decoder@theverge.com,我们真的会读每一封邮件!

Decoder,主持人尼莱·帕特尔

The Verge出品的一档探讨宏大理念与种种难题的播客节目。

立即订阅!