一个Token是怎么“造”出来的？黄仁勋的“五层蛋糕”理论给出答案|gpu|hbm|黄仁勋

内容来源|本文摘编自中信出版集团书籍
《Token经济》白惠天袁晓辉司晓著

责编| 贾宁

第 9804篇深度好文：4854字 | 11 分钟阅读

今天，你在聊天框里敲下一句话，等上几十毫秒，屏幕上便出现一段看似流畅的回答。对绝大多数用户来说，这是一个十分轻量化的过程。

可到了付款页面，许多用户会有一种遭到“背刺”的感觉——输入多少百万Token、输出多少百万Token、上下文多长、缓存是否命中。

这时，很多人会有这样的疑问：为什么一个看不见、摸不着的回答，要按量收费？为什么AI公司不能像卖传统软件那样，一次授权、无限复制？

这里至少混着三张不同的账单。

第一张是生产成本：造出一个Token，底层到底消耗了多少电力、芯片、机房和工程资源；

第二张是市场价格：模型厂商向外报出的调用单价，其中还包含竞争、利润和服务分层；

第三张是任务成本：用户为了完成一项工作，究竟总共烧掉了多少Token。

当把三者混为一谈，就会出现“电费明明不贵，为什么AI还这么贵”“模型降价了，为什么企业账单反而变大”这样的困惑。

AI当然有软件的一面：算法可以迭代，模型可以压缩，服务可以通过接口分发。但它还有另一面，且正在越来越显眼：每一次生成都要经过真实的计算，依赖真实的电力、显存、网络和机房。

典型SaaS的成本常常随着复制而快速摊薄，AI推理却始终带着一笔不断发生的边际成本。

“Token看上去像软件，骨子里却越来越像重工业。”

那么，造一个Token，钱究竟花在了哪里？

一、五层拆解：从底往上，
Token是如何被生产的

2026年1月，英伟达CEO黄仁勋在达沃斯世界经济论坛上，第一次把AI基础设施描述为一块“五层蛋糕”：自下而上，分别是能源、芯片、基础设施、模型和应用。此后他在CES 2026和GTC 2026大会上反复使用这个框架。

这个系统是一条“实时运行的认知生产线”：用户输入、上下文、工具说明和企业知识库，像生产的原材料；电力、芯片和推理时间，像能源；模型架构、缓存机制、路由策略和工作流编排，则像工艺。

不同于一件可以造好后堆进仓库的工业品，Token往往在调用瞬间被生产、交付并消费。

“Token的生产成本，是造出一个Token所消耗的资源；Token的市场价格，是厂商对外报出的调用单价；Token的任务成本，是完成一次完整任务总共花掉的钱。”

只有把这三层账分开，才能理解下面这块蛋糕。

1.能源层

电费很重要，但电费并不是全部（约占总成本10%～20%）。

GPU运转需要电力，冷却系统需要电力，网络传输需要电力，数据中心是不折不扣的用电大户。按美国工业电价每千瓦时0.06~0.08美元计算，一座500兆瓦的数据中心，一年的电费账单超过3亿美元。

需要提醒的是，“运营成本”和“单位Token完全成本”：电力在数据中心日常运营中很扎眼，可一旦把GPU、HBM、网络和机房的资本折旧都计入，能源层就不是最大项了。

SemiAnalysis的推理TCO（总拥有成本）模型显示，机房租赁和电力合计通常不到总拥有成本的20%。因此在大规模商用推理口径下，能源约占Token生产总成本的10%～20%。

2.芯片层

芯片层是最大的成本层，也是供给的咽喉（约占40%～55%）。

GPU/AI加速器、HBM（高带宽内存）、芯片间互联和CPU，构成了Token成本的主体。从公开采购口径看，一块英伟达B200的价格为3万～4万美元，其中通常已包含封装内的HBM成本；而从物料清单（BOM）口径看，HBM与先进封装合计约占高端芯片制造成本的三分之二。

为什么显存和互联决定供给？

有这样一个关键技术事实：模型参数必须驻留在HBM中，才能实现高效推理——HBM的容量和带宽，直接决定了推理的速度与并发上限。而全球HBM产能被三家寡头垄断：SK海力士约占57%，三星占22%，美光占21%。

AI需求爆发叠加寡头格局，让超大规模云厂商资本开支中内存的占比，从2023—2024年的约8%飙升至2026年的约30%，几乎全部由HBM驱动。在大规模商用推理口径下，整个芯片层约占Token生产总成本的40%到55%，高端模型、长上下文和高显存场景还会更高。

3.基础设施层

这一层的作用是把一堆芯片变成一座“AI工厂”（约占15%～20%）。

有了芯片，离能产出Token还差得很远。这一层包括机房建设、供配电系统、液冷/散热、机柜、光模块、线缆与InfiniBand交换网络，以及大规模集群的调度和运维系统——它的任务，是把成千上万张芯片组织成一座协同运转的“AI工厂”。

基础设施层约占Token生产总成本的15%～20%，但这个比例的弹性很大：GPU利用率、电价、折旧年限、数据中心是自建还是租赁，都会让它大幅波动。同一批芯片，利用率60%和80%的企业，摊到每个Token上的成本完全不同。

4.模型层

它是最“软”的一层，也是降得最快的一层（约占10%～15%）。这一层包括训练成本的摊销、推理框架优化、模型服务编排和监控。

训练本身耗资巨大——GPT-4的纯计算口径（硬件折旧+能源）训练成本约4000万美元，而奥尔特曼的公开口径是“超过1亿美元”，GPT-5级别已进入数亿到十亿美元级；而且这还没算“试错系数”：前沿模型很少一次训练成功，失败的轮次会让实际投入成倍增加。

但模型层也是工程魔法最密集的一层。以MoE（混合专家）架构为例，DeepSeek V4总参数量达1.6万亿，每次推理却只激活约490亿参数（约3%）——书中打了个比方：这相当于一家拥有16000名员工的巨型咨询公司，每接一个项目只派出约500人的精锐小组。

蒸馏技术则让小模型复现大模型能力，推理成本约为大模型的1%。这类算法优化的共同特点是：不需要更换任何硬件，只需更新软件和框架，成本就能再下一个台阶。

5.应用层

这是最上面一层，是界面、集成、合规和内容安全——模型能力要变成用户可以购买、企业敢于采购的服务，这一层必不可少。它约占Token生产总成本的5%～10%。

需要注意的是，这些比例都不是任意公司的标准财务报表，而是对大规模商用推理场景的一种拆解视角。自建还是租用、前沿模型还是经济模型、训练还是推理、任务长还是短，都会改变每一层的权重。但有一个排序相对稳定：硬件相关的三层，通常构成成本主体，大致占七成上下甚至更高。

二、为什么电费便宜了，
Token不一定就很便宜

了解了五层结构，就有助于解除两个流传很广的误会。

第一个误会：把Token看成“电力的转售”。

既然一次AI对话的电费可能只有几厘钱，那Token凭什么收费？因为单Token的边际电耗，只是完全成本里很小的一块。

一枚Token的完全成本，要同时摊入芯片折旧、显存带宽的机会成本、数据中心的利用率，以及服务质量的溢价。同样是1度电，喂给不同的芯片、放在不同利用率的机房里，造出的Token数量天差地别。

第二个误会：只看单Token成本，忽略同样数量的Token，背后的成本并不相同。

Token成本因模型代际、任务类型和部署形态而异：前沿旗舰模型与经济档模型的推理成本可以相差数十倍；长上下文任务比短问答更吃显存；批处理任务可以让集群利用率从60%提升到70%～80%，摊薄成本——2026年谷歌推出的分层推理定价，正是按“愿意等多久、要多稳”把同一模型分成优先、标准、灵活、批处理四档，批处理档直接半价。

除了这两个误会，还有一个容易被忽略的时间差：硬件确实在快速进步——英伟达推理硬件每代性能提升2～3倍、功耗增加不到50%，折合每Token硬件成本每代下降40%～60%；但从架构发布到大规模交付到客户手中，通常需要12~18个月。

B200于2024年3月发布，2025年底才大规模交付。所以即便“造Token”的理论成本一直在降，特定时间、特定地点可用的便宜算力，依然是稀缺品。

换句话说，电价会影响Token，却不能单独解释Token；就像钢价会影响一辆车，却不能单独解释一辆车为什么卖得贵。

三、Token为何是“双时钟”商品？
算法按月进步，电网和机房按年建设

理解五层成本之后，就不难看到Token经济中最矛盾的一面：算法侧的价格在快速下降，物理侧的供给却依然紧张。书中把它概括为“双时钟”。

“算法、软件是快时钟；芯片、数据中心、电力是慢时钟。”

快时钟有多快？过去3年，同等能力水平的推理成本下降了99.5%——斯坦福《2026年AI指数报告》的估算是3年降至原来的1/250。MoE、注意力优化、蒸馏、推测性解码，这些技术以天和周为单位迭代，不需要更换任何硬件就能让成本再降一档。

慢时钟有多慢？书中列出了物理世界画出的四重约束：

第一重，数据中心扩建需要18到36个月，且大量项目正在延期。

2026年美国原计划上线的数据中心容量约16吉瓦、约140个项目，截至4月只有约5吉瓦在施工。最具标志性的是OpenAI的Stargate项目：高调宣布投入5000亿美元，却因电网接入排队、变压器延迟而施工暂停。

《金融时报》的评论一针见血：“5000亿美元买不来物理世界的加速，也买不来社区的同意。”

第二重，变压器交付周期平均2.5年。