AI公司说自己的产品可能毁灭人类，这类警告最近越来越密集，甚至有人提出要"放慢前沿速度"，也就是协调起来给AI进展踩刹车。于是有评论者提出阴谋论：这是不是一场拉高股价的合谋？
怀疑者的版本还挺多。有人说，公司是在用"危险"当卖点——AI要是聪明到能灭掉全人类，那它肯定也聪明到能处理你的业务流程。有人说，这是在转移视线，报纸上每多一寸关于人类灭绝的版面，就少一寸留给抄袭和耗水的指控。最流行的说法是监管俘获：产品既然不安全，那就只配交给少数几家有政治关系的大公司，其他人都该被禁。
关于AI的很多争论复杂且难有定论，但这一场不是。这些说法都是错的。证据有三条。
一、不在大公司的人，一样在担心
Grace等人调查了1580名在大型AI相关会议上发表论文的AI研究者，其中大多数是没有任何公司隶属关系的学者。超过一半的人认为，AI导致"人类灭绝或类似永久且严重的物种能力剥夺"的概率至少有10%。72%的人表示，AI安全研究需要得到更多优先投入。这项调查做于2024年，按现在的形势，数字大概率只会更高。
杰弗里·辛顿、约书亚·本吉奥和杨立昆因发明深度学习，被合称为"AI教父"，2018年他们因此获得图灵奖，这个奖有时被称为计算机科学的诺贝尔奖。2023年，辛顿从谷歌辞职，全职投入提高公众对AI潜在生存危险的认识，他说自己的发明有"10%到50%的概率"会毁灭人类。同年，本吉奥也转向倡导工作，说自己"后悔一生的成果"，AI可能带来"灾难性影响"。两人当时都不隶属于任何大型AI公司。（第三位教父杨立昆经营着一家估值30亿美元的AI公司，他说自己不担心。）
除了这些独立研究者，还有不少人曾就职于公司，然后辞职去揭发危险，或者全职投入反AI倡导。保罗·克里斯蒂亚诺2021年离开OpenAI，创办了一家AI对齐非营利组织；他后来说，"在拥有人类水平AI系统之后不久，毁灭的概率是50/50"。丹尼尔·科科塔伊洛2024年离开OpenAI，为了创办一个警告AI风险的非营利组织，他拒绝签署一份禁止贬损条款，哪怕这可能让他损失200万美元的股权（他说他认为AI杀死所有人的概率约为80%）。雅各布·考克森9月离开Anthropic，同样可能放弃了数百万美元的股权，因为他认为这是在"拿我们的生命赌博"。这样的人还有几十个。
换句话说，在AI公司工作的人，并不比从未在AI公司工作过的人、或者曾在AI公司但已经辞职的人，更倾向于发出警报。
二、警告者早在开公司之前就在担心
达里奥·阿莫代伊第一次讨论超级智能毁灭人类的风险是在2013年，那时OpenAI和Anthropic都还没成立，他本人也完全不在科技行业工作。有一份日期为2013年10月27日、长达62页的辩论记录，参与者包括阿莫代伊、埃利泽·尤德科夫斯基和其他AI安全爱好者，讨论的是策略问题。
2017年，阿莫代伊还是OpenAI的一名普通员工，他在80,000 Hours播客（2017年7月21日）上谈过自己的工作：
"我主要做安全。我们的安全团队目前就是我和保罗·克里斯蒂亚诺。保罗是我在《AI安全中的具体问题》那篇论文上的合著者，他也在自己的博客上写了很多关于AI的内容。他可能是对推动清晰思考这个问题、并将其与当前AI联系起来贡献最大的人之一。几周后还会有第三个人加入，我非常期待。我们正在努力建立一个专注于技术安全的团队。我们也做一点策略方面的事，比如如何让不同的AI组织相互合作，如何在类似问题上与政策制定者合作。我们也在稍微考虑这些问题，但主要是技术安全。"
阿莫代伊进一步展开了合作这一点——他告诉主持人，他担心AI会引发一场"军备竞赛"，各公司争相抢先开发技术，把安全抛在脑后。他的解决方案是让公司之间合作：
"我们都思考AGI，都认为安全问题很重要……那么问题就是，这如何扩展到有很多组织的情况？如何扩展到其他人看到AI有多强大后也参与进来的情况？我们能不能让他们也合作？我的希望是我们可以。"
这后来成了他念念不忘的事，他还聘请了一位顾问帮OpenAI研究这个问题。据《纽约客》报道：
2017年，阿莫代伊聘请了前公共利益律师佩奇·赫德利，担任OpenAI的政策与伦理顾问。在一份早期给高管的PowerPoint演示中，赫德利勾勒了OpenAI可以如何避免一场"灾难性的"军备……
三、如果这些公司阴谋是真的，那它们也太蠢了
（原文此处内容未完整提供，暂缺。）
热门跟贴