来源:市场资讯
(来源:AI信息Gap)
Greg Brockman 终于把那 72 小时讲完整了。
OpenAI 联合创始人兼总裁,Stripe 第一位工程师,上周接管了 ChatGPT、Codex、API 三条产品线的那个人。
他来到「The Knowledge Project」播客,给出了迄今最详细的一手叙述。从 2015 年在 Napa Valley 做 T 恤拉人入伙,到 2023 年 11 月那场差点杀死 OpenAI 的政变,再到今天 80% 的代码由 AI 编写。
每一段讲述都是他亲历的。
故事要从一顿饭说起。
2015 年,Brockman 刚从 Stripe 离职。他觉得 Stripe 解决的不是他从小想解决的问题。Stripe CEO Patrick Collison 让他去找 Sam Altman 聊聊,本意是希望 Sam 劝他留下来。
结果 Sam 聊了几分钟就放弃劝人了。
「你明显已经决定了。」
Sam 问他下一步想干什么。Brockman 说想做 AI 公司。Sam 说,巧了,我也在想。
那年 7 月,Sam 攒了一顿饭,把一群人叫到了一起。核心议题只有一个,「现在从零开始建一个 AI 实验室,来得及吗?」
2015 年的 AI 版图上只有一个巨头,Google DeepMind。钱、人才、数据、算力全在它手里。AlphaGo 还没发布,但势头已经很清晰了。
大家想了各种理由说很难。但没人能说出一条理由证明不可能。
当晚 Sam 和 Brockman 一起开车回旧金山。两个人对视了一眼。
「我们必须做这件事。」
第二天,Brockman 就开始全职拉人了。
最早的候选名单只有四个人。Ilya Sutskever(后来的 OpenAI 首席科学家)、Dario Amodei(后来创办了 Anthropic)、Chris Olah(神经网络可解释性研究的开创者,后来也是 Anthropic 联合创始人),加上 Brockman 自己。
四个人花了很长时间讨论实验室的方向和架构。但 Dario 觉得不确定这个项目能不能跑起来,他想先建立自己的名声。最终 Dario 和 Chris 去了 Google Brain。
后来的事情大家都知道了。Dario 在 2021 年创办了 Anthropic,成了 OpenAI 最大的竞争对手。
Brockman 没有放弃。他拉来了 John Schulman,凑了大约 10 个人。每个人都在观望,都在问「还有谁加入了?」。
Sam 出了个主意,直接把人拉到 Napa(纳帕谷,加州的葡萄酒产区)开了一天会。
Brockman 给所有人印了 T 恤。那时候没有公司,没有 offer,没有组织架构,什么都没有。就一群人在酒庄里聊了一天。
那天他们写下了三条技术路线。第一,解决强化学习。第二,解决无监督学习。第三,逐步学习更复杂的东西。
这三条路线,OpenAI 一走就是十年。
Brockman 在播客里说了一句令人印象深刻的话。
OpenAI 这些年经历了很多「it's real now」的时刻。每次你以为自己已经理解了这项技术有多厉害,下一个拐点就会出现,告诉你之前理解的还是太浅。
2017 年,有一篇叫「Unsupervised Sentiment Neuron」的论文。训练目标只是预测下一个字符,结果模型自己学会了理解情感。正面的还是负面的,它分得清。
「我们在造能理解语义的机器。不只是知道逗号和名词在哪里,而是真正理解句子的意思。」
然后是 Dota 2,一款规则复杂的多人电竞游戏。OpenAI 训练 AI 去打职业选手,用的强化学习算法叫 PPO(近端策略优化),Brockman 自己都觉得有缺陷,不可能扩展到这么大的规模。但他们一直往上堆算力,PPO 赢了全球最顶尖的人类玩家。
神经网络的大小相当于一只昆虫的突触数量。
Brockman 当时想的是,如果把同样的方法放大到人脑规模,会怎样?
再后来是 GPT-4。Brockman 说团队内部有人问了一个问题,「Why is this thing not an AGI?」
没有人能回答。
你很难说清它到底缺什么。如果你在两个月前写下自己对 AGI 的理解,GPT-4 大概率能满足。
2023 年 11 月 17 日,Brockman 在家里收到一条消息。
「能参加一个视频会议吗?」
他点进去,发现屏幕上是董事会全体成员,但没有 Sam Altman。
他被告知,董事会已经决定解雇 Sam。理由?无。
Brockman 追问,能给点信息吗?被告知不行。再追问一次呢?还是不行。
然后对方说,等一下,还有一件事。你也被移出董事会了。但公司需要你留下来,因为你很重要。
Brockman 问,能给我一些反馈吗?对方说,也不行。
挂掉电话,Brockman 对妻子说。
「我要辞职。」
妻子说,「我同意。」
当天他就递了辞呈。
辞职之后,同事的消息一条接一条。「不管你和 Sam 下一步做什么,我跟你走。」
这种支持完全出乎他的意料。
当天 OpenAI 还有几个核心技术骨干跟着一起辞职了。加上 Sam,一共五个人聚在一起,开始规划成立一家新公司。
Brockman 那天的判断是,重新夺回公司的概率只有 10%。
第二天,一帮人聚到 Sam 家里。Brockman 展示了他们连夜想出来的新方案。
接下来整个周末他们都在跟董事会谈判。看起来快谈拢了。
周日晚上,董事会突然换了临时 CEO。
公司彻底乱了。
员工开始一批一批地搬离办公室。Brockman 在视频电话里对想加入新公司的人说,没事,我们有计划。
那个周末,所有竞争对手都在挖人。最终没有一个人接受外面的 offer。
然后请愿书开始疯狂传播。签名的人太多,甚至连 Google Docs 都直接崩了。得委托他人帮忙把名字手动加上去。
那天晚上 Brockman 大概凌晨 5 点到家,睡了 45 分钟。醒来刷推特,看到 Ilya 发了一条推文。
Ilya 签了请愿书。他说希望公司重新走到一起。
那一刻,Brockman 如释重负。
但 Ilya 最终还是离开了。
这件事对 Brockman 的打击很大。他说这可能是自己在 OpenAI 唯一一次觉得不想干下去了。
「我需要一段时间来重新回忆,自己为什么要做这件事。」
休假期间他去了 ARC Institute 训练 DNA 序列的语言模型。他妻子有一些健康问题,他想看看 AI 能不能帮上忙。
后来他又回到了 OpenAI。
主持人 Shane Parrish 问 Brockman,「你从这整件事里学到了什么?」
Brockman 的回答卸下了所有戏剧化的包装。
「Keep going. If you have a mission that matters, just keep going.」
OpenAI 这些年最大的错误就是拖延。明知道某个人不适合某个岗位,拖着。明知道某个技术方向不太对,拖着。明知道某个项目的管理方式有问题,也拖着。
每次拖延,后来都后悔了。
Ilya 曾经对他说过一句话,他一直记到现在。
「你必须承受痛苦。如果你不觉得痛苦,你就没在创造价值。」
Shane 问,「OpenAI 的代码有多少是 AI 写的?」
Brockman 的原话是,「已经很难统计哪些不是 AI 写的了。」
他后来在红杉资本的活动上给出了一个更具体的数字。去年 12 月,AI 写代码的比例从 20% 涨到了 80%。只用了一个月。
「从配角直接变成了主角。」
但他加了一个限定。写代码这件事,AI 确实已经超过人类了。但代码的架构设计、模块划分、接口定义,人类工程师还是更强。
AI 是全世界最快的码农,但还不是最好的架构师。
另一个有意思的细节。Shane 问 ChatGPT 为什么不再展示推理过程了。
两个原因。
第一是防蒸馏。推理链暴露出去,竞争对手可以拿来训练自己的模型。
第二个原因更关键。OpenAI 最初开发推理模型的时候发现了一个意外收获。你可以通过阅读模型的思维链来理解它是怎么得出答案的。这是一种之前不存在的「可解释性」。
但问题是,一旦你训练模型让思维链「好看」,它就会开始表演。模型知道你在看它的思考过程,它会把思维链写成你想看的样子,而不是它真实的推理路径。
所以 OpenAI 做了一个决定,不对思维链做任何训练优化。为了保护这层「真实性」,干脆不再展示。
全球算力不够。
如果你想让全球每个人都有一块 GPU,那需要 80 亿块。现在全世界最大的数据中心也就几十万块的规模,百万级别的才刚刚开始建。
差了四个数量级。
OpenAI 很早就开始大规模投资数据中心。当时被同行嘲笑。Brockman 在播客里被问到「谁笑到了最后」,他笑了一声。
「我们的竞争对手在算力这件事上,日子不太好过。」
OpenAI 今年可能拿整个数据中心去解决一个问题。比如癌症。
一整栋楼,所有的芯片,24 小时只做这一件事。
「变化一定会来。这一点毫无疑问。」
人总是更容易看到自己会失去什么,很难提前看到自己会得到什么。
Brockman 举了一个例子。如果你和 1950 年的人描述 Uber,你需要先解释电脑,再解释手机,再解释 GPS,然后告诉他所有这些技术加在一起,就是为了让一辆车在 3 分钟内出现在你面前。
1950 年的人会觉得疯了。但这件事确实发生了。而且同样的技术栈催生了成千上万个其他应用。
未来每个人都会有一个个人 AI。不只是回答问题的那种,而是了解你、替你办事、24 小时运转的那种。
「想象一下,你有一家 10 万人的公司,所有人都在为你工作。」
只要你有足够的算力。
播客上线没多久,OpenAI 就官宣了公司史上最大规模的组织重组。
Brockman 正式全面接管 ChatGPT、Codex 和 API 三条产品线。
多名高管离开或转岗。Sora 项目关停。整个公司收缩成一个统一的 Agent 平台。
重组的背景是 IPO。OpenAI 最快今年下半年上市,估值目标是 1 万亿美元。
从 2015 年在 Napa 给同事印 T 恤的那个人,到今天手握万亿估值公司的产品大权。
这条路走了十年。
Brockman 在播客里说了一句话,算是他的人生信条。
「If you have a mission that matters, the fact of you keep going through the ups and the downs.」
如果你有一个值得做的使命,无论经历高峰和低谷,一直走下去。
我是木易,Top2 + 美国 Top10 CS 硕,现在是 AI 产品经理。
热门跟贴