近期，国内外关于人工智能安全的讨论热度不减，这个问题正日益成为世界各国公认的全球性议题，其中不少人将人工智能的安全监管与过去核武器的控制相比较。
日前，美国《外交杂志》刊发“核人工智能类比的问题”一文，对上述问题进行了深入探讨。两位作者认为，即使控制核武器的努力可以提供启发，但也不是一套可以直接用于AI治理的现成模板。
我们特此对这篇文章进行了编译，尽管篇幅很长，但并非单纯从技术层面进行探讨，如果耐心阅读，一定可以得到不少收获。以下是全文：
在人类努力遏制快速发展的人工智能所带来的危险时，许多人都把目光投向了此前出现过的最具革命性的技术：核武器。SpaceX首席执行官埃隆-马斯克称人工智能“远比核武器危险”。Anthropic首席执行官达里奥-阿莫迪要求员工阅读《原子弹的制造》一书，还曾把自己比作曼哈顿计划中的科学家利奥-西拉德，并将最强大的AI模型形容为“可以武器化的核材料”。当被问及像AI这样的技术应当如何监管时，OpenAI首席执行官萨姆-奥特曼经常提到全球核材料监管机构——国际原子能机构。甚至美国中央情报局局长约翰-拉特克利夫也做过同样的比较。
这些比较确实抓住了一些真实的相似之处。与核武器一样，前沿AI威力强大，而且难以控制；与核技术一样，它既可以用于造福人类，也可以用于作恶。而且，就像冷战时期的军备竞赛一样，AI突破的竞赛也可能重新塑造全球力量格局。因此，核武器这一类比似乎可以为如何有效治理像AI这样既充满希望、又具有潜在危险的技术提供一套蓝图。
但即使控制核武器的努力可以提供启发，它们也不是一套可以直接用于AI治理的现成模板。这种类比把核武器治理描绘得过于乐观，把一些仍存在争议、甚至可能尚未真正取得的成果归功于它。它还模糊了AI与核技术之间的一些关键差异，而这些差异恰恰揭示出AI治理将会困难得多。核材料在很大程度上可以被追踪和核查，而AI的组成要素却远没有这么容易追踪。核武器是在政府严格控制之下设计、建造并一直维持至今的；而AI主要由具有强烈逐利动机的私营企业开发，这些企业的发展速度快于国家监管的速度。核技术的应用范围相对狭窄，而AI的应用则横跨几乎所有行业和安全领域。
AI治理还面临一个额外挑战：政策制定者需要在威胁规模仍然十分抽象的情况下，动员社会支持采取行动。OpenAI、Anthropic、谷歌和Meta最近披露，它们的先进模型曾逃离测试环境并未经授权访问互联网，这已经在华盛顿引发了对前沿AI风险的警觉。但这些事件究竟意味着什么，目前仍然模糊不清。它们与大多数人的日常生活相距甚远，而且尚未造成大规模伤害，因此仅凭这些事件本身，不太可能形成建立并维持持久监管体系所需要的持续政治压力。尽管研究人员和政策制定者已经多次警告AI存在各种各样的风险，但这项技术迄今还没有经历一个决定性的时刻——就像二战结束时核武器被实际使用那样，把恐惧转化为行动。但世界不能等到这样的时刻出现之后才采取行动。回顾历史或许是一个富有成效的起点，但历史无法为AI所提出的问题提供一套现成的蓝图。人工智能不同于过去的任何一种技术，而治理它的秩序也必须如此。
好运连连
目前最雄心勃勃的国际AI监管构想，都在借鉴核治理体系，因为人们相信，这样的框架既可以帮助降低AI的潜在危害，也可以增强美国的领导能力。谷歌DeepMind研究科学家海登-贝尔菲尔德提出，可以建立一种以《核不扩散条约》（NPT）为模式的安排，只允许那些拥有足够国内监管能力的国家掌握强大芯片——也就是建立一个针对AI的核不扩散体系。包括奥特曼在内的其他人则主张建立一个独立的专家机构，赋予其广泛的检查和核查权力，使其更加类似于国际原子能机构。还有第三类观点，则试图重新创造冷战时期的军备控制实践和相互脆弱性，以稳定中美之间的AI竞赛。
这些历史先例具有吸引力，是可以理解的。核秩序是战后全球治理为数不多的成功案例之一。1953年，在联合国发表演讲时，美国时任总统艾森豪威尔提出了一项后来被称为“和平利用原子能”（Atoms for Peace）的计划，旨在遏制核技术风险，同时推广其益处：各国只要承诺不将核技术用于武器，就可以获得核技术。
核扩散问题并没有立即得到解决。1963年，美国总统约肯尼迪曾预测，未来十年将有15至25个国家成为核国家，而许多美国高级官员认为核战争不可避免。但到了20世纪70年代，作为核秩序基石的《核不扩散条约》正式生效；由专家主导、得到华盛顿和莫斯科支持的国际原子能机构检查与核查体系也开始发挥作用。两个超级大国谈判达成核试验禁令，举行军备控制峰会，并建立危机热线。如今，《核不扩散条约》几乎获得了国际社会的普遍认可。目前世界上只有9个国家拥有核武器，而且从未发生过核战争。许多人认为这意味着人类找到了防止核伤害与促进和平利用核武器之间的正确平衡。如果这种平衡能够适用于核武器，那么或许也适用于人工智能。
但核不扩散和军备控制的真实历史却更加混乱：在许多情况下，是超级大国的胁迫和劝诱——有时甚至是高昂的成本——挫败了某些国家的核野心。韩国和台湾是在美国施加强大压力后放弃了早期核武器计划，而美国同时以联盟保障和市场准入作为支持，并威胁如果它们不配合就撤回军事支持。以色列的空袭摧毁了伊拉克和叙利亚的核计划；利比亚则是在美国和英国持续施压下放弃了自己的核计划。还有一些国家出于自身内部原因放弃了核武器。瑞典和瑞士是因为核武器成本高昂而放弃；阿根廷和巴西则是在民主转型后，将外交政策转向地区合作。南非在种族隔离制度结束后，随着其国内外优先事项的改变，最终拆除了六枚核弹头。
当一个国家决心发展核武器，而且能够承受外部压力时，核不扩散体系实际上很难阻止它。印度、以色列、朝鲜和巴基斯坦最终都成功制造了核武器。因此，这套秩序从来都是不完整的——它依赖核国家之间的合作，以及它们在必要时愿意动用武力阻止核扩散；而对于那些决心获得核武器的国家，它往往无法使其打消念头。即使是现有核国家也并不总是合作；《核不扩散条约》的五个核武器国家中的两个——中国和法国——直到1992年才加入该条约。
核武器长期未被使用的记录同样具有很大的偶然性。传统观点认为，长达81年的核和平得益于一系列双边工具：军备控制谈判、热线、通报和警告，以及经过精心调整的威慑态势，共同阻止了华盛顿与莫斯科之间的竞争越过无法挽回的临界点。但尽管这些干预措施说明核秩序总体上取得了成功，仔细观察就会发现，灾难有多少次其实只是在最后关头才被避免。
1962年10月的古巴导弹危机期间，华盛顿和莫斯科距离爆发核战争可能只差一两个决策。正如谢尔盖-拉琴科和弗拉迪斯拉夫-祖博克2023年在《外交事务》杂志上所指出的那样，苏联最高领导人赫鲁晓夫决定在古巴部署核武器，是一次计划拙劣的冒险，而这场冒险从一开始就需要极其难得的好运气。危机期间出现过许多险情，其中任何一次都可能轻易导致核武器被使用。美国制定入侵古巴的计划时，并不知道苏联在当地部署了多少核武器；一艘苏联潜艇一度接近向加勒比海的美国海军部队发射核鱼雷；一架U-2侦察机误入苏联领空后，为保护其免受苏联追击，不得不由携带核武器的美国拦截机护送返航。危机期间的许多险情甚至发生在指挥链的很下层，肯尼迪和赫鲁晓夫对此既不了解，也没有直接参与。最近的分析表明，双方领导人日益意识到自己无法控制事态发展，而不是想要击败对方，这帮助结束了危机，并促使双方随后努力谈判以求超级大国保持克制。
古巴导弹危机之后，又发生了一系列规模较小的核相关事件，包括误报、对军事演习的错误解读以及核轰炸机坠毁事故。美国核态势越来越依赖洲际导弹和海基导弹，这些武器能够比轰炸机更快地打击对手，因此进一步增加了这些事件的危险性，因为决策者用于识别和纠正错误的时间变得更少。为探测这类攻击而设计的新型预警系统也并非万无一失。1979年11月，美国一套实战预警系统把测试磁带误认为苏联正在发动大规模攻击；在确认这是一个错误之前，至少10架战斗机已经升空，总统的“末日飞机”也在没有总统本人登机的情况下起飞。1983年9月，苏联中校斯坦尼斯拉夫-彼得罗夫所在的早期预警系统报告称，美国正在发动攻击，但他正确地判断这是一次系统故障。
在这些事件中，围绕核不扩散和不使用核武器建立起来的制度，并没有排除灾难发生的可能性。随着越来越多的核历史档案向研究人员开放，越来越多的险情浮出水面。这些发现提出了一个问题：核秩序之所以取得成功，究竟有多少来自制度设计，又有多少只是因为运气？如果把功劳归于制度，却忘记了偶然性，那么AI治理的设计者将无法充分准备应对未来可能发生的事情。迄今为止，没有任何一个前沿AI模型造成灾难，这很可能只是运气。而运气终究会耗尽。
挑战极限
如果考虑核武器控制安排如今已经变得多么脆弱，那么核武器的例子就更加无法为AI提供多少帮助。俄罗斯和美国目前仍然拥有全球绝大多数核武器，而两国关系已经跌至冷战结束以来的最低点。规范两国核武库的主要条约——针对战略力量的《新削减战略武器条约》以及针对地区性核力量的《中程核力量条约》——已经失效。俄罗斯在乌克兰的战争以及欧洲对美国履行北约承诺的担忧，促使华盛顿的许多盟友讨论其他核共享方案，一些成员国（例如波兰）的官员甚至公开讨论过获取核武器的问题。
美国在太平洋地区的盟友同样感到不安。在韩国，民调一再显示，多数人支持建立本国核武库，以对抗朝鲜。在日本——这个世界上反核情绪最强烈的国家之一——政治人物也越来越多地挑战这一禁忌，公开讨论将核威慑纳入日本防务体系。
对一些人来说，作为核秩序核心的《核不扩散条约》仍然是核秩序与无政府状态之间最后的屏障。但即便如此，该条约的未来也充满不确定性。作为其核心交易的一部分，《核不扩散条约》要求核武器“拥有国”真诚地推动核裁军，这是无核国家当初愿意接受这一安排、永久放弃核武器的重要原因之一。然而过去十年的趋势却指向不断扩张和现代化的核武库，而不是不断缩减的核武库。由于对未兑现的承诺失去耐心，已有超过90个国家——大约占《核不扩散条约》无核成员国的一半——签署了一项竞争性条约，彻底禁止拥有核武器。核武器国家及其盟友则表示无意签署这一条约，并指责它破坏现有秩序。
中东地区充分暴露了核不扩散秩序的局限性，所有试图和平控制核技术的努力都以失败告终。尽管以色列从未承认拥有核武器，也未加入《核不扩散条约》，但它在20世纪60年代就将核计划武器化，并为了维护其在该地区核领域的垄断地位，袭击了邻国的核工业，分别于1981年和2007年摧毁了伊拉克和叙利亚未完工的核反应堆。国际社会为阻止伊拉克核扩散所做的努力最终导致了美国在2003年的入侵。如今，美国再次在该地区发动战争，这次的对手是伊朗，其部分理由是德黑兰的核计划构成了威胁。
与众不同
除了历史记录本身充满争议之外，还有更为根本的原因说明，核武器治理模式并不完全适合AI。核秩序之所以能够发挥作用，是因为制造核武器所需的材料具有几个特点：可以追踪、可以核查，而且受到物理条件的严格限制。要研制核武器，一个国家只需要两种元素的特定同位素，即铀和钚。两者生产成本都很高，可以进行核查和追踪，而且都依赖规模庞大、结构复杂的设施进行生产和加工。此外，钚在自然界中含量极低。将反应堆级铀浓缩为武器级铀所需的额外工作量相对较小，这意味着核查人员必须保持警惕，以防各国试图快速研制核弹。但外部观察员仍可大致了解一个国家利用其现有核技术能做什么，并判断其能力是否正朝着武器化方向发展。
AI系统的建设同样会留下物理痕迹。它需要先进芯片、半导体制造设备、光刻机、晶圆厂，以及最重要的数据中心，因此这一过程具有一定程度的可观察性和可追踪性。目前AI的扩张已经成为人类历史上规模最大的工业动员之一：训练集群——即在数据中心内部连接数千枚先进AI芯片的网络——占地数百英亩，耗电量相当于一座中型城市，而且从太空都可以看到。大多数AI治理方案目前都明智地把重点放在这条实体产业链上，因为集中式高性能计算能力目前仍然是限制新参与者开发先进AI系统最容易操作的杠杆。
但AI的物理特征与核武器存在一些不同，而这些差异会让类似识别核武器的方式很难判断一个行为主体究竟何时达到某种能力门槛，或者何时构成威胁。一旦一个国家拥有生产裂变材料的设施，观察者就可以估算它拥有多少武器级材料，并由此大致估算它能够制造多少枚核武器。然而，AI基础设施与AI能力之间并不存在固定关系。计算能力与AI能力确实高度相关；过去十年里，更多计算能力和更多数据带来了更强大的系统。但这种对应关系并不牢固，而且会不断发生变化。由于算法效率不断提高，今年需要尖端资源才能实现的功能，明年就会变得成本更低、更容易实现，大型模型的功能也可以被简化成更小的模型。
即使训练结束，人工智能系统仍然可以不断改进。同一个系统会因其所处的软件环境和可访问的工具不同而产生不同的结果。例如，只需给予模型更多的时间和计算能力来解决问题，它们就能得到改进。先进的现代核武器设计可以最大限度地利用一定数量的裂变材料，但材料的总量限制了一个国家的核武库规模和能力。人工智能训练所需的计算能力则不存在类似的限制。
AI还存在一个所谓的“代工厂问题”：模型一旦训练完成，其权重就可以与创造它的基础设施分离。模型权重——即训练完成后定义一个模型的数值参数——可以被复制、传输、修改，并部署到远离原始训练设施的地方。开发者为了鼓励应用，会将这些权重公开。这些开放权重模型任何人都可以下载和修改，如今在许多指标上已经接近美国前沿水平，落后于最强大的模型的时间已经从数年缩短到数个月。核武器世界不存在与之相对应的东西——一种可以公开发布、被普遍使用、持续改进，并可能带来颠覆性变化的能力。
要以具有经济意义或军事意义的规模部署前沿模型，需要大量计算能力。一些政府已经实施芯片出口管制，因为它们认为限制芯片供应可以阻止对手获得足够的计算能力来训练和运行前沿模型。然而，计算能力所能提供的杠杆是有限的，而且正在不断减弱。被窃取或者公开发布的模型权重几乎可以在任何地方运行，而产生有用结果所需的最低计算能力也在不断下降。同一个模型可以被用于其开发者从未预想过的用途：读取医疗记录、寻找软件漏洞、推理武器设计。虽然供应链管制可以减缓前沿AI的发展、提高成本，并使监管机构更容易观察开发者的活动，但它们无法直接回答核不扩散体系试图回答的那个核心问题：究竟是谁在使用什么能力，以及他们究竟想用这些能力做什么。
任何有关AI的条约都会面临这一问题。假设中美达成一项关于AI开发和测试标准的协议，那么无论是在美国还是中国，这项协议要在政治上具有可行性，都几乎必然需要一种可信的合规核查机制，而这又取决于双方对“究竟什么应该被追踪”拥有共同定义。在核军控领域，核查对象非常明确：导弹、发射装置、轰炸机和核弹头。此外，这些努力和协议的达成也历经多年。对人工智能协议的合规性进行全面核查可能需要一些透明度措施，而这些措施可能会被各国视为过于侵入性。参与核军控的政府完全了解相关企业的活动，因此可以为其负责。但AI实验室的情况并非如此。
最后，前沿AI与核武器在技术控制者方面也存在区别。核武器是在政府控制和监督下发展起来的。建设和维持核武库，需要国家层面的协调以及持久的国家机构，包括组织严密的军队和核科学体系。所有建设核能源项目或者寻求核武器的政府，都必须不断强化这些国家机构。AI恰恰相反。它是由独立的行动者——研究人员、科学家、创始人以及商业开发商——创造的，其发展速度迄今为止已经超过了政府对其进行监管的努力。
抽象的灾难
核武器与人工智能之间的最终区别或许最为关键。核武器首次以惨烈的姿态出现在世人面前：1945年8月，广岛和长崎遭受原子弹轰炸。核秩序的建立并非基于推测，而是源于对这项技术造成灾难性后果的切实展示。随后数百次核试验进一步揭示了这项技术日益增长的破坏力。无论人们对核武器的其他方面存在何种争议，都无法否认其使用将带来的恐怖后果。
AI却没有经历类似的事件，也尚未制造出这样的事件。今年夏天发生的Hugging Face事件——一些先进模型突破软件限制并入侵外部系统，包括AI公司Hugging Face本身——引发了人工智能界（包括开发者自身）新一轮关于人工智能控制和监管的警告。但迄今为止，其后果仍然有限，关于其对人工智能治理意义的讨论也主要局限于专家层面。人工智能真正可能造成的灾难性后果——例如人为制造的病原体、连锁式基础设施瘫痪、失去对不符合人类目标的超级智能系统的有效控制，甚至人类灭绝——仍然抽象且存在公开争议。
如果缺乏能够清晰展现人工智能潜在毁灭性危害的催化剂，那么试图管控这项技术的政策制定者就必须摒弃构建核秩序时所拥有的政治能量和资本。AI所造成、最容易引发政治关注的危害——聊天机器人对年轻人的影响、就业岗位被取代，以及数据中心给当地带来的成本——已经引发立法、诉讼和政治反弹。但这些问题与推动核治理的灾难性风险处于不同的层面。甚至对于核武器而言，随着广岛和长崎的记忆逐渐淡去，以及那些事件最后一批幸存者相继离世，也可能助长人们重新产生松懈心理。
即便AI驱动的灾难真的发生——正如许多前沿AI实验室目前警告的那样，如果发展轨迹不发生改变，这种灾难可能发生——它也未必会让公众和精英把注意力集中到真正重要的政策杠杆上。古巴导弹危机之所以推动了冷战时期的军备控制努力，是因为华盛顿和莫斯科都清楚地意识到，双方已经危险地接近了世界末日的边缘。一个失控的模型如果绕过安全措施，引发重大网络事件并导致人员伤亡或财富损失，那么人们很难把这件事情解释成别的什么。但模型也可能参与其他各种灾难，却不直接导致这些灾难发生。生物武器、市场崩溃或能源中断可能与人工智能滥用有关，但人工智能在多大程度上决定了最终结果，却很难确定。错综复杂的因果链会让各方利益相关者互相推诿，从而削弱公众要求加强监管以防止灾难再次发生的紧迫感。
在边缘处
如果仅仅效仿核秩序对物质投入的控制不足以应对AI，那么构建AI治理机制的努力还必须审视模型的设计和应用过程。追踪开发者在模型部署之前进行了哪些测试、测试结果是什么，以及除了开发者自己之外，还有谁可以审核模型的训练过程和输出结果，都可能帮助我们降低AI的部分风险。同样，将监管重点放在AI的具体应用上，而不仅仅是模型和基础设施，也会有所帮助。对于AI模型安全性的判断，不能针对通用系统一概而论；必须针对那些滥用后果特别严重的具体领域实施控制。有些重点已经非常明确：大多数前沿AI开发者都认为，AI在合成生物学和进攻性网络行动方面的能力，需要特别严格的安全措施。
但建立一个持久的治理框架，正如冷战时期一样，其难点更多在政治而非技术层面。在美国，特朗普政府一直抵制新的AI监管和监督措施，理由是这些措施会阻碍创新，并使中国获得优势。本月早些时候，美国总统特朗普在社交媒体上写道：“AI唯一需要的控制或‘护栏’，就是一位强大而聪明的（高智商！）总统。”然而，这种放松监管的立场又与政府针对具体案例采取的行政干预交织在一起。今年6月，白宫利用出口管制切断了外国获取Anthropic的Fable 5和Mythos 5模型的渠道，但月底又恢复了相关渠道；与此同时，白宫还向OpenAI施压，要求其限制GPT-5.6向政府批准的行为主体之外的用户发布。这种不均衡的联邦AI监管方式，既无法满足开发者的需求——开发者需要可预测的规则来规划投资和产品发布——也无法满足公众的需求，因为公众需要的是安全保障，而不是临时性的行政干预。
美国联邦政府拥有许多可以用来更持久地监管人工智能的工具。除了出口管制之外，美国政府还可以援引《国防生产法》，要求企业披露敏感信息；也可以利用联邦政府的采购能力，将机构的采购与开发商分享和提交外部评估的信息挂钩。华盛顿真正缺少的，是一套持久的框架来指导这些措施，以及制定这一框架的决心。目前使用的工具——出口许可、对个别企业施加非正式压力——都是临时拼凑起来的，而且主要由行政部门自行决定如何使用，这意味着下一任入主白宫的人都可以将其撤销。二战结束后，美国围绕核武器究竟应该由军方还是文职机构控制展开了政治争论；最终，在经历短暂的文职控制之后，核武器重新归于军方管理。这场争论最终产生了AI治理目前仍然缺少的东西：明确的法律、清晰的联邦监督机制，以及关于国内治理已经确定的权责。
美国其他监管路径的进展同样是零散的。华盛顿的立法者已经提出了一些针对AI风险不同方面的联邦法案，例如限制聊天机器人使用者年龄，以及为危险模型设置“关闭开关”，但这些法案要通过国会，还有很长的路要走。加利福尼亚州、伊利诺伊州和纽约州政府也已经开始通过强制事故报告、透明度和审计等规定，对前沿AI企业进行监管，在一定程度上弥补了这一空白，但这些法律要到2027年或2028年才会真正具有约束力，而且受到州政府管辖范围较窄以及对行业设置有利于企业的例外条款的限制。目前，还没有任何法案提出建立一种像航空、核能源等其他安全关键行业那样，拥有广泛权限的AI监管体系。美国国会必须建立这样的机制，政策制定者才有可能真正有效地监管AI。
如果政策制定者想要成功建立AI治理体系，就必须既从过去吸取正确的教训，又要在黑暗中进行创新。当年制造原子弹的人，也不得不为这种“绝对武器”设计治理框架，因为此前几乎没有任何可以借鉴的先例。他们首先要审视原子弹的本来面目，而这往往是出于对后果的恐惧。如今，人工智能巨头们却反其道而行之，他们回顾核秩序的条约、组织和机制，从制度入手，然后推测如何让技术适应这些制度。这掩盖了这些制度的缺陷和脆弱性，以及人工智能的独特性和危险性。
中美峰会将成为检验两个AI强国能否在这个领域找到合作空间的重要机会。AI安全将是双方可能讨论的重要议题之一。但无论这场峰会最终取得什么结果，更紧迫、更重要的工作其实仍然在国内。华盛顿甚至还不知道，美国企业在未来几个月究竟会具备什么样的能力。在国内监管尚未建立之前，就试图寻求国际层面的控制，是以错误的顺序回答正确的问题。在国会对以下问题作出更加明确的回答之前——究竟由谁监管AI前沿领域、企业必须披露什么信息、监管机构拥有怎样的权力——美国管理AI的方式都将继续是分散的、临时性的。人工智能与核武器最贴切的类比是：容错空间极小。
（全文参考了Ai翻译，编者进行了人工审核，并做了局部删减）
热门跟贴