【写在前面】

本文主要为内容为Ben Thompson最近刚刚对Sam Altman和 AWS CEO Matt Garman 的专访,不过在开始前我先介绍点背景。

最近,OpenAI似乎保持着被双杀的局面,一方面,谷歌的Gemini使用量继续激增,另一方面,Anthropic的销售额快速增长反超OpenAI,根据 the Information的爆料,ChatGPT的用户增长未达标,且最近又有营收目标的未达标。

就在这样的背景下, OpenAI宣布了和微软之间新的合作关系,具体细节我就不放了,总结起来就是,微软以后只是OpenAI的一个主要股东而已了,双方不再进行任何独家绑定了,业务层面的合作会继续,分成协议到2030年结束。

在此之前,微软的 Azure是唯一能够提供OpenAI模型的hyperscaler(超大型云服务商),这在过去让微软有了很大的竞争优势,但对 OpenAI是一种束缚。

之后 OpenAI官宣了和亚马逊的合作, 在上架AWS以后,那些已经 把大部分数据放在AWS上的公司,就会更愿意使用 OpenAI的产品了。

如今的OpenAI面临的局面有多紧迫呢?根据5月2日SemiAnalysis发布的一份最新研究报告称,Anthropic的ARR(年化运营收入)已经从300亿美元(4月7日)飙升到了440亿美元,前后相距不到1个月。

并且,Anthropic的毛利率从38%,狂飙到了惊人的70%,打破了大模型厂商增收不增利的反规模经济。

OpenAI的反击措施是什么呢?降低付费模型价格,比如8美元包月套餐,以及,加入广告。

过去,OpenAI超9亿的周活用户里,付费比例不到5%,大部分是白嫖的。

在增加广告模式以后,所有 免费用户(有算力上限), 实际上就成了付费用户,因为你得看广告,你就从白嫖用户成为了给OpenAI贡献收入的人,只不过是广告主替你付钱。

不过,我觉得OpenAI做出的收入预测太激进了,他们预测2026年,OpenAI的收入将增长一倍以上,达到300亿美元(仍然不如Anthropic的440亿)。

然后,在2030年,收入会达到2840亿美元,其中广告带来1020亿美元。

但是,广告业务在今年3月刚刚试点,ARR只有1亿美元,预计26年全年能达到24亿。

但是,300亿是24亿的12.5倍,这种增长能在4年时间内做到吗?

也许,Sam Altman真的是很急于今年上市,并且要比Anthropic更早上市。

OpenAI的数字是怎么预测出来的?它们根据2025年Meta的每名用户年均收入57美元,来计算自己2030年的预期,但要知道,Meta是做了20年多年才达到这个数字,OpenAI凭啥认为自己5年就可以?

打开网易新闻 查看精彩图片

而且,在这个预测中,我认为OpenAI并没有考虑它们现在看似庞大的用户基数,会因为广告的增加而离开的问题,因为大模型天然给我们一种信任感,它应该给出它能力上限之内的客观回答,而不是受到广告主的影响。

也许OpenAI可以找到区分模型正常回答和广告链接的方式,但不要忘了还有Gemini,它背靠谷歌,可以不在或者更晚在模型里加入广告,谷歌现有的广告收入足够养活Gemini,肯定会有不少免费用户,因为看到OpenAI里的广告而转投Gemini或其它顶尖大模型。

还有一个问题是,原有的OpenAI付费用户,因为8美元套餐的出现(这个套餐里是有广告的),出现了付费减少的问题。

OpenAI预计,到今年年底,8美元套餐订阅用户将占所有付费订阅用户的 92%,高于去年的仅 7%。但这部分增长,很大程度上将来自原本订阅更高价套餐的用户,Plus 套餐的订阅占比,预计会出现完全相反的变化,从总付费用户中的 92% 降至 7%。

【正文开始】

注意,这个采访发生于4月25日,大概是DeepSeek V4发布第二天,也即GPT 5.5发布的时候。

在这次采访中,大概讨论了:

1、AWS 如何开创整个云计算品类,以及它对创业公司的影响;

2、也讨论了 AI 与此前那次范式转移有哪些相似之处,又有哪些不同之处;

3、Bedrock Managed Agents,它到底是什么,以及它与Amazon现有的 AgentCore产品有何不同;

4、Trainium,为什么芯片对大多数 AI 用户来说并不会那么重要;

5、也讨论了为什么相比 Google专注于全栈整合,选择合作伙伴模式是有意义的。

【全文目录】

  1. AWS与创业公司AWS and Startups

  2. Bedrock Managed Agents

  3. 本地vs云 Local vs. Cloud

  4. AgentCore vs. Managed Agents

  5. Trainium亚马逊自研AI芯片

  6. 客户需求Customer Demand

  7. 构建AI栈Building the AI Stack


一、AWS 与创业公司
Ben Thompson:欢迎来到 Stratechery,Sam,欢迎回来。Sam Altman:谢谢。

Matt Garman:谢谢,谢谢邀请我。

BT:Matt,你从实习生时期就开始参与AWS的工作,而现在,在这一轮AI浪潮中,你负责整个AWS组织。构建AI业务,和构建最初的商品化计算业务original commodity compute business,有哪些相同之处?又有哪些真正不同的地方?

MG:我认为相同的部分在于,我看到了同样的兴奋感,开发者能够做以前从未能做到的事情。一个很酷的地方是,当我们最初推出 AWS 时,开发者突然能够接触到基础设施,而这些基础设施原本只有那些拥有数百万美元、可以去建设数据中心的大公司才能使用。

只需要一张信用卡和几美元,他们就可以开始做应用程序,这极大释放了开发者们的可能性。

我们当时的想法是:人们可以构建任何他们想构建的东西,我们不会预设他们应该做什么。

世界上有很多创造力,只要我们把强大的工具放到他们面前,他们就会创造出有趣而惊人的东西。

我认为 AI 对外部开发者能力的释放,即使不比当年更具变革性,也至少具备同等变革性。

当你思考现在什么是可能的时候,你不需要上学学习 10 年编程,才能构建一个应用;你不需要拥有数百人的庞大团队,也不需要花上一个又一个月去构建东西。你可以用小团队快速构建,并且快速迭代。

AI 正在释放世界各个方面的各种创新,我认为在很多方面,这和当年非常相似,看到客户群体因此能够做到什么,是一件非常令人兴奋的事情。

BT:不过,当年AWS出现的时候,你们是唯一的一家,所以,所有东西,某种程度上都自然归你们所有。

是否存在这样一种情况:在 AWS 时代,很多事情是围绕商品化计算展开的,比如让计算资源变得可替代、有弹性、便宜。但在 AI,尤其是训练领域,胜出的概念似乎更多是那些高度垂直整合的超级集群、非常先进的网络,以及软件和硬件之间非常紧密的联动。

对你来说,这是否有点出乎意料?毕竟你现在切入这个领域时,这里已经不是一张白纸,不像当年“我们是唯一一家,我们有一种看待大规模计算的特定方式”,而至少在 AI 最初几年,似乎并非如此了?

MG:我不认为这对我们来说有什么不同。

我认为真正不同的地方在于,大家上手的速度极其惊人,我觉得这可能让所有人都感到意外。Sam,如果你不同意可以补充,但一个新额能力被人们接受和抓住的速度,我认为让所有人都感到惊讶。

这和我们最初开始做云计算时不一样。那时候,我们花了很长时间去解释:为什么一家卖书的公司会提供你的计算能力?我们需要大量解释,去说明什么是云计算。

人们现在容易忘记,当年其实有很多艰难工作。在2006年,大家并不是理所当然地认为世界的计算会迁移到这种模式上,所以当时有很多艰苦的推动工作。

BT:你觉得现在是否也需要做一些解释,因为很多人锚定在训练时代the training era,而你们说,我们思考的是推理时代the inference era,这会是另一种不同的东西。

也许你们仍然需要再次启动那种解释能力?

MG:是需要的,但人们理解你在说什么的速度完全不同。

所以我认为,是的,如果你从人们说“这确实看起来挺酷的,有一个可以对话的智能聊天机器人也很棒”,转向“它实际上可以在你的企业里工作”,这中间确实需要一点教育。

但从技术发展的速度来看,这种教育过程也相对非常快。

BT:Sam,从创业生态系统的角度,回头看AWS 显然具有变革性,它完全改变了创业门槛,现在任何人都可以开始创业。你有种子轮投资人,有天使投资人,门槛被向后推了,你也不需要在PowerPoint上展示服务器,你可以先构建一个应用,然后再去融 Series A,或者其他融资阶段。

从你的视角来看,与AWS当年所释放的东西相比,今天这个世界有哪些相同点和不同点?

SA:我认为,在大规模赋能创业公司的平台层面,历史上有过四个伟大时刻:互联网、云、移动互联网,以及 AI。

其中第一个我以成年人身份经历的,是云。在YC,也就是Y Combinator的早期,很难夸大这对创业公司意味着多大的变化。以前,那些创业公司需要租用托管机房空间,把服务器组装起来,把东西放进去,那是一件极其复杂的事情,而且你必须筹集很多钱。

然后突然之间,虽然云是在 YC 刚成立之后出现的,我想大概是第二年。

BT:我正准备问这个,归根结底,它们真的比你当时意识到的更加相辅相成、密不可分吗?

SA:当时它们就感觉非常密不可分,感觉 YC 从一开始就在乘着云计算这波浪潮前进,因为在 AWS 之前,其实已经有一些早期案例了。

BT:如果 AWS 存在,那么相比以前,你不需要往一家创业公司里投入那么多钱,就能让它启动起来。

SA:这是一个巨大的赋能性变化,也是为什么YC当时听起来那么疯狂的一部分原因。人们会说:“好吧,你不可能只用几万美元就资助一家创业公司,这是不可能的,服务器成本都不止这么多。”所以,这彻底改变了创业公司能够用少量资本做到的事情。

一般来说,当出现重大的平台转移时,创业公司就更容易胜出,因为你可以用比以前更快的周期、更少的资本去做事。这是一种经典方式,让创业公司能够击败大公司。

在我职业生涯早期,我亲眼见证了云计算带来的这种变化。现在看到公司基于AI构建业务,方向上确实感觉非常相似。但正如Matt所说,这一轮的速度太疯狂了。

BT:这里是不是还有一点不同,现有的大公司、那些巨头们,采用AI的速度也比当年采用云计算要快得多?

SA:这种情况肯定更多了,但我说的也包括创业公司收入扩张的速度。

我最近在YC演讲,到最后我问了一下:“对于一家好的公司来说,YC 项目结束时的收入预期是多少?”

他们说:“这个数字基本上每个月都在变,也许一批项目开始时和结束时,我们给出的答案都会不一样。”

这种事情以前从未发生过,人们能够在这个新平台上建立规模化业务的速度,是我以前从未见过的。

BT:Matt,在整个那个时代,AWS 基本上是所有创业公司的首选,这给你们带来了巨大优势。那今天,是什么让你们成为首选云?因为你会看到很多人在OpenAI API上构建产品,还是说,你们其实感觉,你们是从一个非常不同的角度进入这个市场的,你们有庞大的既有客户基础,他们迫切希望我们提供AI相关的东西?而 Sam 所说的那一整批创业公司,我们对他们的可见度没那么高?

MG:我认为有几个方面。第一,我们对这次合作感到非常兴奋,我认为它会对很多创业公司非常有意义。但即便今天,你去和创业公司交流,大多数正在扩张的创业公司仍然是在 AWS 上扩张,这背后有很多原因。规模在那里,可用性在那里,安全性在那里,可靠性在那里,其他ISV的合作伙伴生态系统在 AWS 上,客户也在 AWS 上。

BT:不管他们愿不愿意,大家都用过 AWS 控制台,所以他们已经习惯了。

MG:而且我们会帮助他们。我们花大量时间赋能创业公司,不只是提供 credits(云服务抵扣额度),还包括建议他们如何搭建系统、如何思考 go-to-market(市场进入策略),以及很多类似的事情,我认为很多创业公司都非常看重这些。

我们投入大量时间和精力去确保这一点,因为我们真的觉得创业公司是 AWS 的生命线。从一开始就是,就像 Sam 刚才所说的那样,直到今天依然如此。我现在仍然每个季度去一次 Silicon Valley 或其他地方,直接和创业公司见面,了解他们在做什么,确保我们构建的东西能够真正被他们采用。

所以,今天对创业公司注意力的竞争,确实比 20 年前更多了,但这对我们来说和过去一样重要,我们也投入大量时间,确保自己能够满足这些创业公司的需求。

BT:是否可以这么说,那些直接基于OpenAI API构建产品的人,而不是使用比如Azure版本OpenAI 服务的人,更有可能采用这样一种技术栈,就是常规计算使用 AWS,而 AI 使用 OpenAI?

MG:我认为这是今天很多创业公司非常常见的一种模式,绝对如此。

二、Bedrock Managed Agents

BT:好,这就引出了今天的合作,由OpenAI提供支持的Bedrock Managed Agents,我想我这个说法应该没错。

按照我的理解,这个产品的卖点并不是简单地说OpenAI模型可以在AWS上使用,而是说,OpenAI的前沿模型被封装进了一个AWS原生的agent runtime 里,其中包括身份、权限、状态、日志、治理和部署等能力。

Sam,这样表述对吗?

SA:是的,说得相当不错。

我认为,AI的下一阶段,将从“你给一个agent输入一些文本,然后它返回更多文本”,甚至从“你给它一堆代码,然后它返回更多代码”,走向这样一种状态:我们会让这些 agents统统在一家公司内部运行,执行各种各样不同类型的工作。

虚拟同事Virtual co-workers,是我听过的描述方式里相对最不差的一种,但还没有人真正找到合适的语言来描述它。

我们正在共同打包一个新产品,帮助那些想要构建这类agents、并将其投入使用的公司。

再次强调,我认为我们还不知道这个世界最终会如何谈论这些东西、如何使用这些东西,但如果你看看 Codex 正在发生的事情,我认为那就是一个很好的例子,让我们看到这一切可能会走向哪里。

BT:要让agents真正发挥作用,harness,也就是模型周围的运行框架,包括runtime、工具、记忆、权限、evals和状态state,尤其是状态,对你来说是一个非常重要的词,它们到底有多重要?

SA:这些的重要性,怎么强调都不过分。我现在已经不再把 harness 和模型看作完全可以分开的两个东西。

以我使用这些产品的经验来看,我非常清楚这样一个事实:当我在 Codex 里启动某个任务,然后它为我完成了一件很惊人的事情时,我并不总是知道该把多少功劳归给谁,到底是模型很惊人,还是 harness 很惊人?

(关于Harness的具体解释,可见这篇:)

BT:Harness 在多大程度上是和模型共同开发出来的?这种集成发生在哪里?是在 post-training 阶段?是在 prompt 里?到底是什么让这种集成有效?

SA:两者都有。它并不真正属于 pre-training 过程的一部分,但这里有一个更有意思的现象:过去我们已经多次看到,有些我们原本以为非常可分离的东西,会越来越多、越来越深地被内化进去。

比如我们最初看待 tool-calling 的方式,现在 tool-calling 已经是我们使用这些模型的一个关键部分,但最开始我们并没有认真思考要把它深度集成到训练过程中,而随着时间推移,我们在这方面做得越来越多。

我也认为,随着时间推移,模型和 harness 会更加融合。

就此而言,我也预计pre-training和post-training 最终也会越来越融合。

说这话已经很老套了,但我还是要说,因为我认为这非常、非常真实:我们在这一整套范式中仍然处在极早期阶段

BT:这这件事非常有意思,。

这两个部分必须结合在一起,整个系统才能运转。随着时间推移,很明显,大量价值会聚集在那里。我的论点就是,harness与模型的集成正是关键点。这当然符合你的利益,但听起来你也同意。

SA:这确实符合我的利益,我也确实同意。但我还会说得更宽一点:你真正关心的是,你在 Codex 里输入你想让它发生的事情,然后它真的发生了。

BT:我们并不需要关心实现细节。

SA:我认为你确实不关心。在我们摸索这一切的过程中,已经有很多例子:有些事情我们过去必须在system prompt层面处理,但后来就不需要了。

这里的一般性观察是,随着模型变得更聪明,你会有更大的灵活性,让它按照你想要的方式行动。这听起来像是一句显而易见的话:让一个 10 岁孩子明白该做什么,比让一个 5 岁孩子明白要容易。

当我回想 GPT-3 时代,为了从这些模型里挤出哪怕一点点效用,就是我们必须做的那些事情,到了现在你已经完全不需要做了。因为模型当然已经能够直接理解,并且开箱即用地把事情做好,这个趋势还会继续推进得更远。

MG:我正想补充这一点,我认为,当你和客户交流时,他们对自己希望这些系统做什么有非常具体的想法。

在我们这次共同合作之前,客户某种程度上被迫自己把这些东西拼起来,对吧?他们希望这些模型和agents能够记住它们之间如何协同工作得更好,他们也希望把它们集成到自己现有的系统中。

而且,这不只是第三方工具,也包括他们自己的工具。他们希望这些系统学习自己的数据、自己的应用、自己的运营环境。

而至少在今天,所有这类集成工作基本上都留给每一个客户自己去完成。

所以,我们这次共同深入推进的合作,其中一部分就是共同构建一种新类型的产品,把这些东西真正拉得更近,让客户可以更容易地完成他们想做的事情。

在这个产品中,身份认证已经内建进去,连接你的数据库进行认证的能力,也都发生在你的AWS VPC,也就是Virtual Private Cloud(虚拟私有云)内部。

如果只是OpenAI API在这边、AWS在那边,很多事情理论上也可以做到,但通过共同构建这个东西,我们让客户能够更容易、更快速地获得价值,并在他们自己的企业环境内部完成他们想做的事情。

BT:所以你的意思是,可以在一个通用的harness里,构建一个功能性的 agent,只是难度要大得多?你们是在让这件事变得更容易?还是说,其实如果不把它们绑定在一起,有些事情甚至根本做不到?

SA:回到你之前的类比,在AWS出现之前,如果你愿意自己搭建数据中心,买一堆服务器,弄清楚怎么把它们连接起来,再雇自己的网络工程师,你也能做很多事情,你也能让很多东西运转起来。

然后突然之间,只要你登录AWS控制面板,你就能做成更多事情。因为基础部分所需的启动门槛和基础工作量,大幅降低了。

所以,今天你用这些模型也能做很多事情。

但是,每当我看到有人使用我们的模型,或者尝试搭建 Matt 刚才说的这些工作流时,我都处在一种矛盾状态。

一方面,我很高兴他们如此惊叹,觉得这是一项魔法般的技术,另一方面,我又因为他们为了让任何东西真正跑起来所经历的痛苦和折磨而抓狂。

这不只是开发者构建这些产品时才会发生,即便是在使用ChatGPT时,我也会看到人们在这里复制、在那里粘贴,试图组织一整套复杂的 prompt。

我知道这些都会消失,而我对此非常兴奋。现在仍然太早期,而且还很糟糕。

第一,这些东西现在实在太难做了。我们认为,如果我们能让它变得容易得多,就会给开发者和企业带来多得多的价值。

第二,有很多事情你现在根本无法可靠地让它运转起来。我认为,通过我们双方的共同合作,这不只会是一个“更容易使用、不用自己去搭建托管机房”之类的故事,我们还会共同摸索出很多新的构建方式,让人们能够构建出一些产品和服务,这些东西即便你愿意承受大量痛苦和折磨,今天也依然做不到。

三、本地 vs 云端

BT:我其实想稍后再回到“还有哪些东西可以被构建出来”这个话题,但先快速回到Codex,这是一个harness加上模型,它在本地运行,为什么现在让agents在本地运行会更容易?

SA:事实上,我们一开始是让它在云端运行的,而且我认为最终你确实会希望它在云端运行。

BT:当然,我是在梳理它如何过渡到这次这个云端产品,但你们为什么又回到本地了?

SA:因为你的整个环境都在那里,你的电脑已经配置好了,你的数据在那里,你不需要去思考太多东西——它就是更容易跑起来,尽管这并不是最终状态。

不过,走向一个agents真正在云端运行的世界显然会很棒。比如,当你有一个非常密集的任务,或者你需要关上电脑之类的时候,你可以把工作交接到云端继续运行。

但短期内,我们能够明确交付的易用性,还是让它使用你的本地环境更胜一筹。

BT:我有一种理解方式,过去的安全模型有点像老派的“城堡与护城河”模式,现在则在转向一种新的zero trust(零信任)安全模型,也就是所有东西都有适当的权限结构、认证机制,以及各种相关组件。在我看来,本地运行某种程度上像是你自己人为构建的“城堡与护城河”,所有东西都在本地,我默认它们都没问题,也很容易操作。而我对这件事的理解是,Matt,你也可以说说这是否符合你的感受,要让所有这些组件在生产环境里真正运转起来,你甚至不可能把它们都放在本地,你从一开始就必须在这个环境里运行,这样理解对吗?

MG:我不确定有没有哪种计算环境,真正完全摆脱了客户端。

本地运行确实有它的好处,你的大多数 iPhone 应用也都有本地组件,这是有原因的,可能是为了连接性,可能是为了延迟,也可能只是为了本地计算,或者访问文件和应用程序。本地客户端确实有其特定价值,正如 Sam 所说,它简单、很好用,也受到约束,但它也有局限。

你无法扩展你的本地笔记本电脑,你有什么就是什么。一旦进入企业合同场景,两个人之间的共享,就会变得稍微困难一些。思考权限、思考安全边界,也会变得稍微困难一些。

所以我认为这里有很多这样的组成部分。我不会说拥有本地环境是一件坏事,它只是另一种东西,我认为最终你会希望在两者之间架起桥梁。

BT:这正是我的问题。因为在云时代,你有containers(容器),它们帮助你把本地环境和生产环境收敛起来。但在现在这件事上,如果你必须处理agents,正如你刚才说的,比如它像一个“虚拟同事”之类的,如果它们有自己的身份、有自己的权限以及所有这些东西,那么要构建它们,你似乎就需要处在未来部署它们时所在的正确环境里?至少在我看来是这样。

SA:我认为这里还有太多事情需要弄清楚。

只举一个例子:如果你是一家公司的员工,当你使用某项服务时,你是否应该只有一个账户?然后你的agent是否应该直接使用你的账户?

还是说,你的agent应该使用一个不同的账户,这样服务器就能区分到底是谁在操作?

BT:或者,如果你想要很多个 agents 呢?

SA:没错。我怀疑我们真正想要的东西,其实还没有被我们想清楚。

也许是这样:当你的 agent 以你的身份登录时,它使用你的账户,但同时标注自己是一个agent,而不是真正的你。

我们现在甚至还没有一个基础概念来思考这件事,但我们可能很快就需要把它弄清楚。

我的感觉是,随着agents加入劳动力,并以越来越高的自主性、越来越复杂的任务形态行动,还会出现50个类似的问题。我们现在关于软件如何运作、公司内部或更广泛互联网中的访问控制和权限如何运作的很多心智模型,都必须演进。

BT:Matt,你如何看待agents的安全、访问策略等等问题?

MG:我确实认为,当你把更多这类工作负载迁移到云端时,作为一个中心化组织,你就能对其中一些安全部分拥有更多控制。我们一直和客户交流,而这确实是他们担心的事情。

他们会说:“我很喜欢这些强大模型和agents所能带来的前景,但我如何确保自己不会因为搞砸了什么,而造成一场足以毁掉公司的事故?”这种担忧是真实存在的。

我认为我们可以在这方面提供帮助,因为这些问题是可以解决的,确实可以。我认为,给客户一些信心非常重要。比如告诉他们:“它运行在这个 VPC 内部。”

这样你至少可以控制这个边界,并知道它能访问什么,或者,它会通过这个gateway,你可以给它授权,就像你在其余环境里给某个角色分配权限一样。

这些都是过去20年里,我们建立起来的机制,我们已经构建了一整套非常丰富的能力。因此,使用AWS的不只是Y Combinator的创业公司,也包括全球性银行、医疗机构、世界各地的各种组织以及政府机构。我们围绕 AWS 建立起来的所有这些安全结构,我认为可以帮助客户进一步加速利用这项技术,并在具备安全防护的前提下快速推进。

我认为很多时候,当你身处一家公司,尤其是那些处在风险厌恶环境中的公司时,如果有这样的安全护栏,让他们能够说:“只要它在这个 sandbox(沙盒)内部运行,我就愿意快速推进”,这实际上可以帮助我们的许多客户,把这些技术用于更广泛的场景。

四、AgentCore vs Managed Agents

BT:你刚才提到的许多能力,也就是 AWS 在过去 20 年里开发出来、现在试图为agents 配置上的那些能力,今天其实已经通过AgentCore展示出来了。

那么,由OpenAI提供支持的Bedrock Managed AgentsBedrock AgentCore之间到底是什么关系?

MG:我们共同构建的很多东西,都是建立在 AgentCore的基础构件之上的,目的是把其中一些组件整合在一起。

BT:所以,它像是一个位于 AgentCore 之上的超集super set

MG:AWS团队和OpenAI团队一起使用 AgentCore 的组件,再结合OpenAI模型和其他一系列组件,共同构建了这个产品。

AgentCore有点像我们的一组基础主体primitives,就像在 AWS 上,如果你想构建自己的agentic workflows(智能体式工作流),你可以这么做,你可以有一个 memory component(记忆组件),可以有一个 safe execution environment(安全执行环境),可以有权限管理能力,你可以自己配置所有这些东西。今天我们已经有客户在生产环境中运行这些能力,并且他们正在做一些非常酷的事情。

BT:但不是用 OpenAI。

MG:但不是用 OpenAI,他们今天必须使用其他模型——这是真的。其实,也不完全对,我们也有人正在用 OpenAI 做这件事。

BT:哦,就是调用另一个云上的服务之类的。

MG:他们就是直接调用OpenAI模型。所以事实上,我们今天绝对有人在用OpenAI做这件事,只是不是在 Bedrock内部原生使用,但他们仍然在使用AgentCore。这是一个开放生态系统,你可以拉取不同的能力,去构建任何你想要的东西,我判断人们会继续这么做。

外面有一些开发者,就像 Sam 刚才那个类比一样,即使今天已经没必要了,他们仍然喜欢在家自己组装电脑,人们喜欢自己动手构建。

我们认为,在很长一段时间里,人们都会继续构建自己的agents。但绝大多数人会想要一种更简单的方式,他们不想自己去配置所有这些组件,而这正是我们这次合作推出的内容之一。

BT:我想非常清楚地确认一下,你们谈到 Bedrock Managed Agents这种managed experience(托管式体验),同时,用户也可以使用 AgentCore,并从某个模型中拉取能力,不管这个模型是在 AWS 上,还是在其他地方。

Sam,这个问题问你。这里的区别是不是在于:OpenAI在Azure上,用户只是直接访问API,而这和Amazon上的这个托管服务是不同的,这样理解正确吗?

SA:正确,是的。

BT:你对此感觉很好?这在所有条款上范围界定都正确?未来不会成为问题?

SA:是的,我认为事情会随着时间推移而演化,但作为一个起点,我对这种方式感觉非常好。

BT:这会是AWS的独家产品吗?还是说,你们预计以后也会在其他云上提供这类managed agent service(托管式agent服务)?

SA:是的,我们会和 Amazon 独家做这件事,我们对此很兴奋。

BT:这个独家有多少是因为,看,我们使用的是Amazon的全部 API,所以它当然只能在 Amazon 上运行?还是说,这是一个更整体的managed experience设想,不只是我们用了Amazon API,而是目前这个产品就是会放在 Amazon 上?

SA:从本质上说,我们希望这是两家公司之间的一项共同努力。

BT:明白,新闻稿里确实提到了一点,这也回到Matt你刚才说的,用户可以调用其他API,然后自己把这些东西粘合在一起。

但在这个案例中,客户数据会留在AWS内部,那么OpenAI到底能看到哪些?这具体是什么意思?

MG:是的,整个内容基本上都会留在你的VPC里,因此数据会在Bedrock环境内部受到保护。

BT:明白。这个产品会通过Bedrock运行在 OpenAI 模型上,而这些模型会跑在Trainium上吗?

MG:它们会通过不同基础设施的混合来运行,其中一部分会在 Trainium 上,一部分会在 GPU 上。

BT:这只是时间安排的问题吗?因为我记得你们几个月前的公告里——

MG:一部分是时间安排和能力的问题。我认为我们会混合使用不同组件来共同构建这个系统,为不同部分使用合适的基础设施。但随着时间推移,越来越多部分会运行在Trainium 上。

SA:我们非常期待让这些模型在Trainium上运行。

BT:我也是这么想。

五、Trainium

BT:Matt,关于Trainium,我想快速问一个一般性问题,Trainium它最主要的呈现形式会是通 Bedrock这样的 managed services(托管服务),而客户甚至不一定知道自己正在使用什么计算资源,这样理解可以吗?

MG:*]:pointer-events-auto [content-visibility:auto] supports-[content-visibility:auto]:[contain-intrinsic-size:auto_100lvh] R6Vx5W_threadScrollVars scroll-mb-[calc(var(--scroll-root-safe-area-inset-bottom,0px)+var(--thread-response-height))] scroll-mt-[calc(var(--header-height)+min(200px,max(70px,20svh)))]","dir":"auto","data-turn-id":"request-69f0ea28-dbec-83e8-b841-eced239848c6-13","data-testid":"conversation-turn-48","data-scroll-anchor":"false","data-turn":"assistant","data-pm-slice":"0 0 []"},"namespaceURI":"http://www.w3.org/1999/xhtml"},"para",{"tagName":"p","attributes":{"data-start":"23","data-end":"224"},"namespaceURI":"http://www.w3.org/1999/xhtml"}]"> Trainium对训练和推理都有用。你看,这是一款让我们非常兴奋的芯片,无论是当前这一代,还是后续迭代,我们都认为它会成为一项巨大的业务,也会真正推动我们共同做的很多事情。

我认为就像 GPU 一样,你会通过抽象层来与很多这类 accelerator chips(加速芯片)交互。所以,绝大多数客户其实也不会直接和 GPU 交互,除了可能在自己的笔记本电脑上为了图形处理而使用 GPU。

但当你和 OpenAI 交互时,即使它们运行在 GPU 上,你也不是在和 GPU 对话。如果你和 Claude 交互,不管背后是 GPU、Trainium 还是 TPU,你也不是在和这些芯片中的任何一个对话,你是在和接口交互。而外面绝大多数inference,都是在少数几个模型之一上完成的。

所以,不管这个数量是 5 个、10 个、20 个还是 100 个,都不会有数百万人直接为这些东西编程。往后也会是这样,因为这些系统实在太复杂、规模太大。

如果你要训练一个模型,并没有多少人有足够的钱去训练一个模型,也没有多少人有专业能力真正管理它。这些是非常复杂的系统,而OpenAI团队在从一个非常大的计算集群中榨取价值方面能力极强。

但并没有多少人拥有能做到这一点的团队,而这和底层芯片到底是什么无关。所以坦白说,我认为这对所有accelerator chips都会成立。

SA:Ben,我越来越把我们公司必须做的事情,看作是成为一家 token factory(token 工厂)。但客户真正关心的是:我们能以最低价格交付最好的intelligence unit(智能单位),而且能按他们想要的规模、想要的容量交付。

*]:pointer-events-auto [content-visibility:auto] supports-[content-visibility:auto]:[contain-intrinsic-size:auto_100lvh] R6Vx5W_threadScrollVars scroll-mb-[calc(var(--scroll-root-safe-area-inset-bottom,0px)+var(--thread-response-height))] scroll-mt-[calc(var(--header-height)+min(200px,max(70px,20svh)))]","dir":"auto","data-turn-id":"request-69f0ea28-dbec-83e8-b841-eced239848c6-13","data-testid":"conversation-turn-48","data-scroll-anchor":"false","data-turn":"assistant","data-pm-slice":"0 0 []"},"namespaceURI":"http://www.w3.org/1999/xhtml"},"para",{"tagName":"p","attributes":{"data-start":"23","data-end":"224"},"namespaceURI":"http://www.w3.org/1999/xhtml"}]">BT:你认为我们会继续坚持现有的定价方式吗,也就是按 token 定价,从长期看,这合理吗?

SA:不合理。

事实上,我们刚发布的GPT5.5就有一个有意思的例子。它的单 token 成本远高于5.4,但为了得到同样的答案,它需要的token数量少得多。而你其实并不关心一个答案需要多少 token,你只是想让那项工作被完成。而且你仍然想要一个价格,以及你可以获得的容量。

所以,也许我刚才说 “token factory” 是错的。我们更像是一家 intelligence factory(智能工厂)之类的东西,我们只是想以最低价格提供尽可能多的智能单位

至于这是一个更大的模型运行更少token,还是一个更小的模型运行很多 token,是 GPU、Trainium,还是其他东西,或者我们以创造性的方式做其他各种事情,我认为客户并不关心。

事实上,他们也不会真的和这些东西交互。当你向 Codex 输入某些东西,或者在 SRE(Stateful Runtime Environment,有状态运行环境)里构建一种新的agent时,你永远不应该需要思考这些问题。

你应该只是惊讶于:你用这么低的成本,竟然能获得这么多能力。

BT:减少 token 使用量,是模型本身带来的,还是harness带来的?

SA:主要是模型,也有一点点来自 harness。

BT:明白了。顺便问一下 Matt,我刚才问了 Sam 关于独家的问题,你预计会为其他模型提供类似的 managed service 吗?

MG:我们现在专注于和 OpenAI 一起做这件事。我们对正在共同做的事情非常兴奋,而从足够长的时间尺度来看,未来很长。

BT:没问题,我只是必须问一下这个问题。

六、客户需求

BT:Sam,关于客户,我确实有一个问题,也和你刚才的观点有关。我很好奇你们两位对此的看法,当客户真正进入生产环境时,OpenAI 的责任在哪里结束,AWS 的责任又从哪里开始?

在我看来,如果所有数据都在 AWS 上,并且会留在那里,而客户是在更高层级上使用这项服务,那么最终这就是 AWS 的责任?这样理解对吗?从客户视角来看,我这么想是否正确?

MG:是的,我认为这是对的。当你需要找人求助时,你会联系AWS support 来帮助你,它是你的 AWS 环境的一部分,你是在AWS上共同构建它,你的 AWS 客户代表会在这方面帮助你。

而在构建过程中,我们会请OpenAI的同事加入进来,帮助你弄清楚如何最好地利用这项能力,或者处理类似的问题。在某个时候,如果我们遇到一个需要他们帮助的bug,我们会升级给他们处理,但AWS会是你直接互动的一线支持方。

BT:Sam,你认为这项业务的规模,相对于你们核心API业务会是什么水平?

SA:我希望它会非常巨大,我们正在为此投入大量精力,也承诺购买大量算力,我相信这里会有大量收入来支撑这件事。

我现在越来越相信的一个框架是:只要价格足够低,对 intelligence(智能)的需求基本上是没有上限的。

BT:所以从这个角度看,它的需求弹性非常大?价格下降,需求就会上升?

SA:当然是这样,但再说一次,你可以把水的价格降下来,也许你会多喝一点水,也许你会从每天洗一次澡变成每天洗两次澡,这里面确实有一些弹性。

但到了某个时候你会说:“你知道吗,我已经有足够多的水了。”

BT:而且如果你必须用水,不管价格多高你都会买。

SA:其他公用事业也是这样。如果电更便宜,你当然会用更多电。但如果你把 intelligence 看作一种公用事业,我不知道还有哪种公用事业会让我觉得:“我就是想要更多,只要价格足够低,我就会继续使用更多。”

MG:实际上,有意思的是,compute power(计算能力)在很大程度上也一直是这样。如果你想想今天一个计算周期的成本和 30 年前相比,不知道便宜了多少个数量级,而今天出售的计算能力比以往任何时候都更多。

BT:对,人们通常不会真的去考虑计算成本,至少在达到极高规模、成本变得实质性重要之前,不会。总体而言,从战略角度看,人们只是默认自己拥有计算能力。

那么 AI 要走到这种状态,还需要多久,也就是当人们的第一反应不再是我这里到底花了多少钱?

SA:我不认为这是现在人们的第一反应。

现在有太多客户问我们:“不管价格是多少,你能不能给我更多?我就是需要更多容量,我愿意额外付钱。”

相比之下,和我们争论价格的客户要少得多。

但我确实认为,我们会继续以极其显著的幅度降低价格。也许我们越这么做,想要流入这个领域的财富就会越来越多。但我有信心,我们会继续大幅降低今天这个智能水平的成本。

有一件事让我有点意外,我也不知道这种情况会不会持续,但至少在今天,整个市场需求中有很大一部分集中在绝对前沿,也就是最强的智能。

BT:对,关于这一点有很多问题。提供最前沿模型的成本非常高,用户其实可以使用前一代模型,但你的意思是,不管怎样,人们就是想使用最前沿最强大的模型?

SA:至少到目前为止,他们确实如此。

MG:我认为这是一个很好的信号,说明我们距离想要达到的状态还远得很,需求还多得多。

我真的认为,这就像40年前的计算需求。当时一台计算机贵得离谱,而现在每个人手机里的算力都远远超过当时,而且我们销售的这类设备数量多了数十亿台。

我确实认为 AI 世界也会发生类似的事情。今天,大家都想使用最强模型,因为这是完成大量有用工作的必要条件,而且所有人都对现有能力感到非常兴奋。

顺便说一句,我认为随着时间推移,你会看到一组混合模型:会有一些更小的模型,能够完成甚至最新OpenAI模型目前还不能完成的某些事情,但随着时间推移,它们会更小、更便宜、更快。

同时,你也会有那些超级大的模型,它们会去尝试治愈癌症以及做其他类似的事情。但我认为,我们仍然只是处在可能性的早期阶段。当你在这样一个早期阶段就看到如此巨大的需求和增长时,这会让人对未来感到兴奋。

BT:这里是否也可以有这样一种看法,Sam,你有一批客户会说,我们很想用 OpenAI 模型,但我们所有东西都在 AWS 上,我们不会迁移。”

而Matt,你这边则是:“看,我们客户的所有东西都在 AWS 上,你能不能把OpenAI模型拿过来?”

所以你们的合作,只是满足了这个需求,因为 AWS 是最大的云,所以这个需求规模天文数字般巨大。

是不是这就是最简单的答案?还是说,这里也有另一层,你们真的认为自己能交付一个高度差异化的东西,同时为双方都吸引新客户?

SA:我们显然非常高兴能够接触到AWS客户,而且有太多人喜欢 AWS,是的,这是一个真实的说法。

MG:这是真的。

BT:(笑)对。

MG:反过来也一样,我们的客户也非常兴奋能够获得 OpenAI 技术。

SA:但我确实认为,我们可以共同构建出某种令人难以置信的新东西,我希望一年后人们回头看这件事时,最重要的话题不是:“哦,终于可以通过 AWS访问这些模型了”之类的东西,而是会说:“哇,我们当时没有意识到这个新产品有多重要。”

我认为,在模型、harness 和能力层面,我们已经接近一种全新的computing形态;它会让人感觉和现有那种“我需要这个模型的 API”之类的思考方式非常不同。

MG:我完全同意,就是这样。合作很好,也很重要,但一起打造出新东西,我认为才是让我们所有人都超级兴奋的地方。

七、构建AI技术栈

BT:聊到这里,我刚才提过我想稍后再回到这个问题。我有一个理论,可能正确,也可能不正确,我很好奇你们两位怎么看,也就是关于还有哪些东西需要被构建出来。

具体来说,最终,可能会出现一个真正的middleware 或 middle layer(中间件/中间层),就是在一个组织里,有各种不同的数据库、SaaS 应用,以及各种零散的数据组件,它们横跨不同系统,然后,在上面有一个 agent layer / harness,或者说带着harness的agent层。

我觉得中间还有某种东西需要被构建出来,OpenAI Frontier 在某种程度上触及了这个问,这是这个产品的一部分吗?还是说这是未来还需要被构建的东西?又或者我完全想错了,我们根本不需要这个东西?

SA:你完全说对了,我们确实需要在那里有某种东西。

最近我和客户交流,尤其是大型企业客户,他们会说,我想要某种 agent runtime environment(agent 运行时环境),我想要一个management layer(管理层),让我可以把自己的数据连接到agents,同时确保我知道自己在哪些地方花了token、哪些地方没有,并且有某种监督机制,我还想要某种workspace(工作空间),希望那会是 Codex,给我的员工使用,类似这样的东西。

人们正在提出的这一整套需求变得非常一致,但接下来确实还需要把这些产品能力真正构建出来。

BT:感觉这里几乎需要一种双重 agent layer,有一层 agent layer 用来维护中间层,它会不断深入各种数据源中进行探查,然后还有真正的用户界面层,也就是人们实际与之交互的地方。这是否符合我们正在走向的方向?还是我理解偏了?

SA:对这两点,我都同意。这确实是今天这个世界看起来的样子。随着模型变得真正聪明,我认为我们还不知道未来的架构究竟会是什么样。

眼下,在某种可以称为user agent layer(用户agent层)的地方,人们确实希望和多个agents交互。我们让你可以为这个东西、那个东西构建agents,让它们彼此对话,以及做其他事情。然后在公司的management layer,人们拥有各种控制机制,帮助 AI 深入文件系统里的文件进行探索。

BT:然后在某个时刻,你会意识到,自己只是毫无理由地抓着过去不放,这件事本来就应该直接在模型里完成。

SA:这正是我想说的,在某个时候,你可能会说,实际上,我们已经拥有了如此惊人的能力,那就让我们把整个东西重新架构一遍。

MG:是的,我同意。我认为这里确实会有某种不同的东西,而我不确定我们所有人现在是否已经知道它到底是什么。但这也是它美妙的地方之一,你让客户使用、让客户构建,然后你可以从他们那里学习,弄清楚如何让这件事对他们来说更容易、更快、更好。

BT:Sam,这是我们第二次做这种产品发布访谈。上一次是和 Kevin Scott 一起谈New Bing——当时你非常确信你们会对Google 构成威胁,你觉得后来结果怎么样?

SA:我认为我们做得比我预期更好,我认为 ChatGPT是Facebook 之后第一个真正大规模的新消费者产品。

BT:这就是答案吗?你们做得比你预期更好,但主要是通过ChatGPT体现出来,而不是通过其他方面?

SA:不,我认为我们在 API 上也做得相当不错,尤其是在 Codex 上,但那并不是我当时所想的方向。当时我想的是,也许这些新型语言界面会改变人们在互联网上寻找信息的方式。

你知道,Google 也是一家绝对非凡的公司。我认为从很多方面来说,仅就它所做事情的广度和深度而言,Google 仍然被低估了。但相对而言,我对ChatGPT的表现感到满意。

BT:Matt,我其实也有一个类似的 Google 问题想问你。Google 本周刚刚由Thomas Kurian讲他们的fully integrated stack(全栈整合技术栈),从模型到芯片,再到agent层,上上下下全部打通。

你现在和另一家公司的高管坐在这里,按定义来说,这就不是Amazon内部的完全整合。

但是否存在这样一种情况,以前所有人都批评你们没有自己的frontier edge model(前沿尖端模型),而现在我们进入了某种inference推理阶段,你们又习惯于服务大量公司。

你们是否反而因为保持中立,在某种意义上处在了更好的位置?这是有意为之,还是说你们是意外地落在了一个很好的位置上,只是当时没有意识到它会变成这样?

MG:有一部分是有意为之。

自从我们创立 AWS 以来,我们一直把合作伙伴视为支持终端客户的关键部分。从一开始,这就是我们战略中极其重要的一部分,与合作伙伴深入合作。

也许这和其他一些公司的想法不太一样,我们认为,只有合作伙伴成功了,并且他们是在我们之上构建,或者和我们一起构建,我们才算成功,如果他们成功了,那么我们也成功了,这很棒。

我们把它看作是共同把蛋糕做大,那就是一种胜利,但其他人未必都这样看世界。有些人会说:“我必须拥有一切。” 这也没问题,这是一种世界观。

但我认为,选择很重要,而且这样一来,最好的产品就会胜出。顺便说一句,在这样的世界里,你可以有第一方产品,也可以有很多第三方产品。但我们的观点是,我们希望客户能够选择最适合他们的东西。如果最好的东西是你们自己构建的东西,那很好。

对我们来说,如果最好的东西是我们的合作伙伴构建的,但它是在我们之上运行的,我们同样把这视为胜利,因为这对我们的客户来说是最好的事情。

我们长期以来都是这样想的,而这实际上也是我们在AI 世界里构建Bedrock平台的方式。我们想支持广泛的模型集合,想支持广泛的能力集合。这一直是真的,从数据库到计算平台,再到其他类似的东西,都是如此。

所以我认为这是一个有意选择的战略,我认为客户欣赏这种战略,因为他们喜欢这种方式,而我们也很兴奋会继续深入推进它。

BT:是的,这很有意思。这里涉及软件、平台和基础设施之间的平衡,每个人都说自己会服务所有人。

但感觉如果回到AWS最初开始时,你们是从 I,也就是 Infrastructure(基础设施)开始的,从我的视角看,这几乎给了你们最大的灵活性,让你们可以和Sam在中间相遇。

Sam有一个很强的S,也就是Software(软件),而你们正在一起构建一个P,也就是 Platform(平台)。

MG:没错。这也会带来一些难处。所以有些核心组件就像你说的那样,在基础设施层面,我们确实会非常重视自己构建的东西。但随着你沿着技术栈向上走,我认为能力集合会变得更广泛。

如果你这样看世界——我完全不认为在任何世界里会有一家公司拥有所有应用,而当你沿着技术栈往下走,到模型和服务层时,这类东西会更少,再往下到基础设施层,这类东西甚至更少。

我们的观点是,拥抱整个合作伙伴集合,对我们的终端客户来说是很好的。

BT:Sam,有什么最后想说的吗?

SA:我认为刚才说得非常好。我真的认为,现在开发者能够构建的新一代产品存在巨大潜力。考虑到我们预计未来一年模型能力的进展会非常陡峭,我们将一起走上这段旅程,并努力真正构建一个平台来赋能这种可能性,这个时机非常好,人们会喜欢它。

BT:很好。Matt,Sam,谢谢你们。

MG:太好了,谢谢邀请我们。

SA:谢谢。