AGI 的美好梦想和现实困境，OpenAI 在奥特曼领导下不断演变|openai|人工智能|初创公司|奥特曼|微软|谷歌

编者按：当 Sam Altman 阐述 OpenAI 的愿景时，他不假思索的提出他们想要开发对全人类有益并安全的AGI（通用人工智能）。伴随着微软的注资，很多人开始对此产生怀疑：OpenAI 真的能做到吗？面对这一问题，Sam Altman 给出了肯定的答案。彭博社最近打造了一系列共有 4 集的播客「Foundering: The OpenAI Story」，记录了 Sam Altman 的崛起之路，试图去全面地理解我们时代其中一位最重要的创始人。今天，我们翻译的是该系列播客的第二集。它包括以下内容： AGI 的多面性：全力创造 AGI 被 OpenAI 视为一个重要的愿景。这能够解决许多全球挑战，但也带来了前所未有的风险，包括无法控制的人工智能和严重的社会影响。 OpenAI 的演变：从数据驱动创新，再到谨慎共享模型。在商业因素的包裹下，OpenAI 如何保持「Open」？ OpenAI 的权力斗争: Elon Musk 希望获得更大的控制，这与 OpenAI 的一些员工产生了分歧。在 Sam Altman 的带领下，OpenAI 从非营利走上营利之路。原播客链接： https://youtube.com/playlist?list=PLe4PRejZgr0MFtsPmVCHLfttpagbpkh57&si=TT56V2TPQmWq_VeN

我想从一个梦想开始说起，一个关于建造 AI 的梦想。

几十年来，人们一直在想象和书写这个梦想，人类在一起努力创造一个比我们自身更强大的新实体。有些研究人员认为，这个梦想可能很快就能实现。

总有一天，存在于我们计算机中的数字大脑将变得和我们的生物大脑一样好，甚至更佳。计算机将变得比我们更聪明。我们称这种人工智能为通用人工智能（AGI）。

这是 Ilya Sutskever 说的，他是 OpenAI 的联合创始人之一。在去年的一次 Ted 演讲里，当谈到人工智能的未来时，他常常表现得像一位宗教神秘主义者。

但现在，他只是在探讨对 AGI 的探索，这是一种能够像人类一样思考和解决各种问题的人工智能。它可以在玩游戏、解决科学问题、创造美丽艺术和驾驶汽车之间自由切换。

OpenAI 的目标是构建 AGI。在 AI 界，这个想法曾经非常前卫，至少以前是。Ilya 将 AGI 描述为一个几近神秘的、重大的飞跃，就像普罗米修斯带来火种一样，其后果将是巨大的。它将引领我们进入技术辉煌，同时也引发混乱。在纪录片《iHuman》中，他对未来的变化充满信心。

对现在来说，AI 的出现是一件伟大的事情，因为 AI 将解决我们今天所面临所有的问题。它将解决就业、疾病和贫困问题。但它也会带来新的问题，假新闻的问题将变得更加严重，网络攻击将更加极端，我们还将拥有完全自动化的 AI 武器。

Ilya 是一位非常有成就的 AI 研究人员，在加入 OpenAI 之前，他在谷歌工作。他对人类有着深厚且热切的情感。他会弹琴，也会绘画。他的一幅画就挂在 OpenAI 的办公室里，那是一朵花，形状就像公司的标志。

同时，他也非常专注于 AI 研究。他曾告诉一位记者：「我过着非常简单的生活，我去上班，然后回家。我不做其他事情。有很多社交场合可以前往，也有很多活动可以去，但是我不会参加。」

他花了大量时间观察 AI 的发展轨迹，并尝试预测未来。Ilya 特别担心 AGI 是否会有自己的欲望和目标。从他的言语中可以听到这种奇幻场景。

并不是说它会主动憎恨人类并想伤害他们，而是它将变得太强大了。我认为一个很好的类比就是人类对待动物的方式。我们不憎恨动物，但当我们需要在两座城市之间建一条高速公路时，我们不会征求动物的意见。可以想象，地球表面可能会被太阳能电池板和数据中心覆盖。

我想在这里暂停一下，这呈现了一个非常强烈的、有力的形象，我们正在创造某种新的存在。它会对我们感兴趣，但最终会漠不关心，就像我们对待鹿一样。

在这段录音中，令我印象最深的是 Ilya 的语气，那不是恐惧，而是敬畏。Ilya 想象的 AGI 可能会为了实现自己的目标而推翻我们，这是一个难以真正理解的戏剧性场景。这个对超自然、全能实体的构想，有着十分浓厚的宗教色彩。

我应该提一下，这一切完全是理论性的，我们离 AGI 还有很远的路要走。OpenAI 目前正在尽全力开发出能可信的模仿人类的模型，而模仿与能够独立思考的 AI 还有很大差距。尽管如此，OpenAI希望做到这一点，并且希望做到最好，做到第一个。以下是 Sam Altman 于 2023 年在国会作证时的讲话：

我最大的担忧，是我们会对世界造成巨大影响。我们整个领域、技术、行业，有可能会对世界造成「重大伤害」。这就是我们创办这家公司的原因。我认为如果这项技术出了问题，可能会「大错特错」。

你正在收听的是「Foundering」，我是主持人 Ellen Hewitt。在本集节目中，我们将带你走进 OpenAI 早期混乱而又充满理想主义的岁月。

我们会讨论构建全能 AGI 的梦想，这很重要。因为这是 OpenAI 正在快速前进的目标，这是这一代人的登月竞赛。我们将讨论 AI 技术如何发生巨大而迅速的变化，以及这种变化如何使 AGI 的梦想比以往任何时候都更加接近。

仅仅几年，它就从一个被嘲笑的奇特想法，变成一些专家认为可能在几年内实现的里程碑。Sam Altman 甚至提出 2028 年可能就会实现。我们还将审视 OpenAI 在追求这一梦想过程中所做的妥协。

起初，公司承诺广泛分享其研究成果，不被盈利动机所腐蚀。但当他们的技术开始进步，并且看起来有可能获得巨大权力时，他们就进行了大转弯。随后这一关键时刻演变成 OpenAI 内部的权力斗争，Sam Altman 掌握了大权。

让我们从 2015 年开始。这时 OpenAI 刚刚成立，它得到了 Elon Musk 承诺的 10 亿美元资金支持，还有一些其他捐赠者的资金。这是一个小型的、刚起步的研究实验室。

在最初的日子里，Sam 和 Elon 并不经常出现。当时，Sam 实际上仍在运营创业加速器 Y Combinator，但他开始将自己定位为 AI 领域的思想领袖。特别的是，他在谈论 AI 世界末日场景。

2015 年，他在博客中宣称，超人类机器智能的发展可能是人类继续存在的最大威胁。他还写道，AI 可能会摧毁宇宙中的每一个人类。在同一年，他在一次科技活动中提到 OpenAI 即将成立。

实际上，我刚刚同意资助一家公司进行 AI 安全研究。你知道，我认为 AI 很可能会导致世界末日。但在此期间，会出现一些使用先进机器学习技术的伟大公司。

我想谈谈这句话。他说 AI 可能会杀死我们所有人，同时他要求我们信任他作为专家的结论。但他在赚钱方面也「油嘴滑舌」。

在 OpenAI 的初期，Sam 和 Elon 并不经常参与日常工作。他们外出与人交谈、招募人才、与记者谈话。他们每周大约会来一次获取进展更新。在那些日子里，Sam 会突然加入对话，然后离开。

他给我的印象是非常聪明、锐利，并且非常高效。当谈话结束时，所有事情就结束了。

这是 Peter Abele，他是一位在 OpenAI 成立的头两年工作的研究员。他说，早期的OpenAI看起来像一个典型的初创公司。他们甚至一段时间没有办公室，会在一位联合创始人的家中开会。

2015 年底、2016 年初最开始时，我们是在 Greg Brockman 位于旧金山使命区的公寓里进行工作的。我们基本上是坐在沙发上、厨房柜台上和床上，工作就在这些地方进行。想象一下，这样一个庞大的项目竟然在这里开始，真的很疯狂。我们有世界上最好的 20 位 AI 研究人员，专注于完成一些前所未有的事情。

在 Sam 和 Elon 缺席的情况下，主要领导者是两位后来将扮演重要角色的人。他们不是名人，但在未来将扮演巨大的角色。

其中一个是 Greg，他的公寓充当了他们的办公室，另一个是 Ilya，我们在本集开头听到的那位 AI 科学家。你可以把 Greg 看作是负责业务运营的工作狂，而 Ilya 则是 AI 天才。

他们一起管理着 OpenAI，Peter 会记得每周和 Ilya 一起在旧金山的街区散步，讨论大局问题，问自己，我们正在解决正确的问题吗？

我觉得他比其他人更早、更清晰地看到了 AI 的潜力。他比其他人更乐观，还会提出类比。比如，一个神经网络只是一个计算机程序，只是一个电路，我们只是以不同的方式编程。

与此同时，Greg 则在不断努力工作。

Greg 是那种可以全身心投入工作的人。他可以不停地工作，一直工作。我见过这样的人，但很少。

即使在 OpenAI 搬出 Greg 的公寓后，他依然几乎住在办公室里。一位前员工说，当他们早上到达工作时，他还在伏案工作，晚上离开时，他仍在敲击键盘。

几年后，当 Greg 结婚时，他甚至在办公室举行了一个世俗婚礼仪式。用大花背景布装饰，花的形状还是OpenAI的标志。拿着戒指的是一个机器人手，而婚礼主持人是 Ilya。

当 Greg 和 Ilya 加入 OpenAI 时，他们并不需要钱。Ilya 将一家公司卖给了谷歌，Greg 拥有很多 Stripe 的股份，那家公司价值数百亿美元。

在硅谷，人们创办初创公司的通常原因，是因为他们认为自己可以建立一个利润丰厚的业务。但 OpenAI 是一个非营利组织。Greg 和 Ilya被这个梦想所激励。

这是 Reid Hoffman，OpenAI 最早的捐助者之一：

对最初的团队来说，没有股权回报。他们是为了人类而这样做。

「这样做是为了人类」，OpenAI一直都是这样说的。他们的网站上说，我们的使命是确保 AGI 造福全人类。

好吧，众所周知，硅谷喜欢宏大的使命声明，WeWork 希望提升全球觉知，但 OpenAI 的使命声明甚至更加宏大，并带有利他主义的色彩。

当 Sam 谈论公司的工作时，他经常讨论潜在的灾难。这里是他与 ABC 的 Rebecca Jarvis 交谈时的内容，他的声音再次显得严肃，他将自己定位为这个领域的思想领袖。那么，最糟糕的结果是什么？

Sam Altman：我特别担心的一件事是，这些模型可能会被用于大规模的虚假信息。现在它们越来越擅长编写计算机代码，我担心这些系统可能会被用于进攻性的网络攻击。 Rebecca Jarvis：你提出了一个重要的观点，那就是现在控制机器的人类也拥有巨大的权力。 Sam Altman：我们非常担心专制政府开发这种技术。 Rebecca Jarvis：普京曾经说过，谁赢得这场 AI 竞赛，谁就基本上掌控了人类。你同意这个说法吗？ Sam Altman：那确实是一个令人不寒而栗的声明。

Sam 说这东西如此有价值，以至于全球超级大国将为之争斗。持怀疑态度的人认为，如果你把你正在研究的东西说得非常重要，你会吸引更多的关注和资金。我们将在下一节目集中讨论这种观点。

在 OpenAI 的早期，他们拯救人类的计划并不明确。他们的策略有点散乱，以下是 Peter 的再次回忆：

我们研究过机器人技术，在这方面有一些探索；我们研究了模拟机器人，在那里花了很多经历；我们研究了可以在网络上执行各种任务的数字代理，比如预订航班。我们还研究了电子游戏。

OpenAI 表示，其首要目标之一将是建造一个机器人管家，它可以设定和清理桌子。就像《杰森一家》中的女仆一样。

公司还建造了一只可以单手解开魔方的机器手，并投入了大量精力来开发可以玩 Dota 2 的机器人，这是一款非常受欢迎的多人在线游戏。他们认为游戏环境的复杂性，可以让 AI 更好地在现实世界导航。

这里有人在测试机器人：

这个机器人很厉害，比我想象的要好得多。

这些 Dota 机器人甚至会与职业选手对战：

提前准备，行动开始了！所以，AI 抢到了第一滴血……

一个能玩 Dota 的机器人在技术上很令人印象深刻，但对于普通人来说看起来并不是这样，而这些产品的商业应用也不是立刻就能看出来的。这里是一位前员工的评论：

我们在做一些随机的事情，看会发生什么。有时感觉构建的东西和想象中的目标之间有很大的差距。人们白天编程让机器人玩电子游戏，然后他们会在午餐时围坐在桌上，谈论着拯救人类。

AI 领域的普遍观点是，要想做出强大的东西，有时需要从琐碎的东西开始。电子游戏和机器人女仆将为自动驾驶汽车和治愈癌症的 AI 铺平道路。

在 OpenAI 内部，他们有时将自己比作曼哈顿计划，负责制造第一颗原子弹的团队，并且他们认为这是一件好事，雄心勃勃且重要。这是另一位前员工对我的叙述：

这是一场军备竞赛，他们都想制造出第一个 AGI，他们认为自己能做到最好。我没有看到太多对 AI 本身的恐惧，我只看到了对构建 AI 的兴奋。

在 2015 年，AI 看起来与今天大不相同，它更弱且更难训练。当时的重大突破是一个机器人能够击败世界上最好的围棋选手，这是来自中国的一种复杂策略棋盘游戏。但那个人工智能只能玩围棋，它不能做其他任何事情。

这是 Oren Etzioni，一位计算机科学教授，也是一个 AI 研究机构的前研究主任：

这些系统都是窄领域的，非常有针对性。下围棋的系统甚至不能下国际象棋，更不用说过马路或者理解语言了。而预测机票价格波动，并能非常准确地预测机票价格上涨或下降的系统，也不能处理文本。所以基本上，每次有一个新的应用程序，你都需要训练一个新的系统。这需要很长时间，需要大量的标注数据等等。

但后来，AI 技术取得了重大突破。2017 年，一组来自谷歌大脑的研究人员发表了一篇名为《Attention Is All You Need》的论文。在这篇论文中，他们描述了一种新的 AI 架构，称为 Transformer。

Transformer 做了一件对当时来说非常重要的事情。AI 系统需要输入非常具体的数据，每条数据必须被标注，这是正确的，这是错误的；这是垃圾邮件，不是垃圾邮件；这是癌症，不是癌症……

但 Transformer 允许 AI 接收混乱的、未标记的数据。实际上，它可以比预期更高效地做到这一点，使用的算力更少。

现在，这些基于 Transformer 的模型可以自我学习。这有点像你想教一个孩子读书，以前你需要雇一个家教坐在那里用闪卡，现在你可以让孩子自己去图书馆，他们会出来知道如何读写。

这就像一位投资者向我描述的那样，一个令人惊讶又痛苦的现实是，最好的 AI 并不来自最专业的训练技术，而是来自拥有最多数据的技术。

早期 OpenAI 的员工 Peter 说，Ilya 立刻看到了它的潜力：

Ilya 的反应非常确定，他说这是我们需要关注的一个重大突破。

即使在 OpenAI 的早期，Ilya 也一直有一个预感，即 AI 的重大进展不会来自某个特定的调整或新发明，而是来自更多的数据，向引擎中倒入越来越多的燃料。现在，Ilya 有了支持他假设的研究。

这是 Oren 的再次发言：

OpenAI 的 Ilya 以一种观点而闻名，那就是数据和数据量，如果我们将其大幅度扩大，将会达到我们所需的目标。这不是普遍的看法，很多非常聪明和著名的人，包括我自己都没有预见到这一点。

由于 Ilya 的推动，OpenAI 开始试验 Transformer。他们是最早这样做的公司之一。他们制造了现在熟悉的首字母缩写词 GPT 生成预训练 Transformer 的模型。

特别是他们开始实验 Transformer 时，在处理文本时的表现。因为他们可以基本上输入任何书籍、报纸文章、Reddit帖子、博客。人类花了很多时间写东西，而这些文字现在有了新的用途：训练数据。

互联网不是为了训练 AI 而创造的，但最终，这可能会成为它的遗产。OpenAI的模型在生成文本方面越来越好，而且不仅限于一个知识领域。

GPT 系统的惊人之处在于它们非常广泛，它们实际上是通才。你可以问它们几乎任何话题，它们会给出令人惊讶的好答案。这是因为它们已经被训练了有效地整个人类可用的文本语料库，数十亿句子，你读过的所有的文件、备忘录、琐事、哈利波特同人小说，所有这些都被纳入磨坊。一旦读完这些，它就变得非常通用。所以这是我们第一次有一个系统，你可以问它任何问题，它会给你一个令人惊讶的智能答案，从狭窄领域的 AI 到一种通用或广泛的 AI。

通过向模型输入大量文本，OpenAI 发现他们可以创建一种 AI，这种 AI 在生成令人信服的回答方面要好得多。事实上，在某个时刻，他们开始担心它可能太好了。

在 OpenAI 的语言模型 GPT-2 刚出现时，他们最初的决定是不更广泛地分享模型，因为他们担心它可能是危险的。这是 Peter，那时他已经离开 OpenAI，并创办了自己的公司，但他记得发布当天的场景：

显然，它对语言的理解比以前训练的任何东西都好得多。其发布确实伴随着大量的、或许是很好的营销，或许是谨慎，或两者兼而有之。它被称为「太危险而不能发布」，所以我认为这是 OpenAI 第一个决定不公开部分工作内容的项目。突然间，我们思索的事情就变成「如果某个东西太强大，人们可能会以我们无法控制的方式滥用它怎么办？」

一旦 OpenAI 有了一个真正强大的产品，他们就会开始重新考虑他们的开放性。

对于 OpenAI 这个名字，Open 真的代表一切都会是开源的，任何人都可以在其基础上进行构建。

「开放」是公司品牌的一个关键组成部分。当他们成立时，Sam 告诉记者 Steven Levy：「这将是开源的，任何人都可以使用。」

他还告诉记者：「他们的AI将由全世界自由拥有。开源软件，从广义上讲，意味着源代码是公开的，任何人都可以调整代码并自行分发。」但公司很快就开始逐步收回这些承诺。

显然，随着时间的推移，这变成了一种并非完全开源的东西，甚至根本不是开源的。我是说，现在他们绝对不会开源他们的工作。

这种开源精神似乎逐渐消失了。以下是 Sam 于 2023 年在慕尼黑的一次演讲：

我很好奇，如果我们保持 GPT-2、GPT-3、GPT-4的轨迹，再到 GPT-5 和 GPT-6，有多少人希望我们在完成训练的那一天开源 GPT-6？哇哦，好吧，我们不会这么做，但这很有趣。

老实说，Sam 在这里显得相当傲慢。他知道 OpenAI 起初承诺要开源。现在他在调查观众对开源模型的看法，然后立即否定他们的回应。

这些年里，Sam 在微妙地改变「开放」的含义，它变得更加模糊。以下是他在一家风投公司发表的讲话：

这就是我们所称的 OpenAI，我们希望这项技术对所有人开放。

他这样说得如此自然，好像这很明显开放意味着什么。但他的定义在我看来是如此模糊，以至于基本上没有意义。我是说Google搜索对所有人开放。看起来OpenAI很高兴让人们猜测他们的开放意思。

在公司成立仅几个月后，Ilya 在一封内部邮件中写道：

随着我们离构建 AI 越来越近，开始变得不那么开放是合理的。OpenAI 中的「Open」意味着所有人都应该从AI的成果中受益，但完全可以不分享科学，尽管从短期和可能的中期来看，共享一切肯定是招募人才的正确策略。

这封邮件非常有趣，因为它表明从一开始，OpenAI就计划不自由分享他们的科学。他们并不想像他们声称的那样开源，但他们希望保持开放的公众形象，因为这给他们带来了招聘优势。

比如，不要为坏人建造AI，来为我们工作。当我们问及他们对开放性的定义变化时，一位公司发言人表示：「我们的使命一直保持不变，但我们的策略必须改变。」

好吧，让我们回到 2017 年。公司成立两年后，OpenAI出现了一个新的问题：权力斗争。

Elon 想接管，他是那种习惯于掌控一切的人。根据 OpenAI 的说法，他想把公司移至特斯拉旗下，并且想成为 CEO，拥有大多数股权。如果不能按他的方式进行，他就退出。

就像 Elon 的所有事情一样，随着时间的推移，他希望施加更多的控制，确保公司按照他希望的形象和方式运营。所以这就会产生紧张局势。

这是我的同事 Ashley Vance，他写了一本关于 Elon 的传记。

Elon 在任何事情中的首选角色，是成为 CEO 和主导力量，以控制日常运作。

实际上，负责日常运营的 Greg Brockman 和 Ilya Sutskever 则非常警惕。虽然 Elon 鲁莽、冲动且难以相处，但他也是他们主要的资金来源。

他承诺了近 10 亿美元的资金。OpenAI 还有其他捐助者，但没有一个接近这个数额。一个选择是和 Elon 在一起，保留他的资金。

员工们并不完全赞同这个想法，并且有一些担忧。所以达到了这个决策点：是要和 Elon 一起走，还是离开他？在最近几年，人们几乎总是忍受 Elon 和他的要求。

或者另一个选择是与 Elon 分开，寻找其他资金来源。你知道谁可能在筹集资金方面表现不错吗？Sam Altman。

问题的焦点是，Elon 希望公司走一条路，而员工们希望走另一条路，于是 Sam 被选为带领 OpenAI 前进的人。

最初的几年里，Sam 并没有太多参与 OpenAI 的事务。他实际上还是 YC 的总裁，但在这场权力斗争中，Sam 战胜了Elon，这是个大事。Elon 更有名，更有经验，尤其是他讨厌失败。

在冲突中，Elon 的反应是要不惜一切代价取胜。Elon 在最近几年中很少输掉「战斗」。通常来说，如果不是在公司内部，他会通过起诉某人来屈服对方；如果在公司内部，他会在政策上施压，直到他得到想要的东西。很难找到最近几年中他没有得到想要结果的例子。所以公司内部的动荡一定非常严重，这样才不会发生这种情况。

所以在 2018 年，Elon 愤然离开，带走了他的资金。几年后，他实际上会起诉 Sam 和 OpenAI，声称他们违背了最初的非营利和开源承诺。

在 Elon 离开后不久，Sam 成为了 OpenAI 的 CEO，而之前这里并没有 CEO，但这次权力斗争明确了 Sam 在公司中的新统治地位。记得 YC 的创始人曾说过的话吗？「Sam 非常擅长变得有权势。」

Sam 对 OpenAI 的兴趣不断增长，他的注意力开始从管理 YC 的工作转移。确实，运营一个世界著名的创业加速器是一个有很多影响力的职位。

但 AGI 的竞赛正在升温，如果 OpenAI 在其他人之前成功创建 AGI，难以想象有哪个职位比其 CEO 更有权力。不过，Sam 没有立即放弃他在 YC 的工作。

这种情况让一些运营加速器的人感到不满。他们觉得 Sam 分心太多，推展太快，把自己的利益置于 YC 之上。这为他在自己团队内部带来了一些敌人。

实际上，据一位消息人士透露，Sam 的导师 Paul Graham，那个最初将他放在这个职位上的人，从英国飞来亲自要求 Sam 辞职。Paul 对他以前的门生失去了信心，但他也不想制造公开的戏剧。所以 Sam 被劝退，他们对外保持了低调，现在他只专注于 OpenAI。

Sam 有一个大目标，为训练 OpenAI 的模型筹集资金。他们需要大量计算能力，而计算能力是昂贵的。Sam 尝试筹款，但没有取得进展。以下是他在 Lex Fridman 播客中的发言：

我们一开始是一个非营利组织。我们很早就发现我们需要比作为非营利组织能筹集到的资金多得多的资金来做我们需要做的事情。我们尝试并失败了几次，作为非营利组织筹集资金。我们看不到那里的前进道路。所以我们需要一些资本主义的好处，但不能太多。我记得当时有人说，作为一个非营利组织，事情不会有足够的进展；作为一个营利组织，事情会有太多的进展。

他们需要一些中间的东西，而且老实说，Sam 对放弃非营利后的生活并没有太多挂心。他拼凑出了一些东西，基本上，他创建了一个营利实体，隶属于最初的非营利组织。

营利性实体可以像普通公司那样做所有事情，比如筹集投资和向员工提供股权，但其投资者的回报是有限的，而在其他公司则是无限的。

这种公司结构被拼凑在一起，OpenAI 现在本质上是一个由非营利组织董事会控制的营利实体，这听起来有点不稳定。OpenAI 花了几年时间声称他们将是非营利组织，现在他们找到了这种营利性解决方案。