GTC柏林 | 老黄：AI是一种制造业，NVIDIA造出了整条的产线|gpu|nvidia|内存|制造业|基础设施组件|柏林|英伟达

作者：毛烁

“我们很早就观察到，AI其实是一种制造业。”

最近，在柏林举行的GTC大会主题演讲上，老黄（NVIDIA 创始人、CEO黄仁勋）这样定义了AI。在他看来，数据中心生产的是Token，本质上是一座“AI工厂”。

他用“五层蛋糕”来描述这条产线：“可以把AI看作一个五层蛋糕。能源驱动先进的计算机，这些计算机组成AI工厂，AI工厂生产Token。”这五层自下而上，分别是能源、芯片、基础设施、模型和应用，上层能做多大，取决于下层能给多少。

过去几年，评估AI算力的框架，主要围绕单颗芯片展开，看峰值算力、HBM容量和互连带宽。芯片越强，集群越强，在训练规模快速扩张的阶段，这个逻辑基本成立。

然而，AI工厂的规模已经进入GW级。按照老黄的估算，一座1GW的AI工厂，土地、电力、厂房、计算、网络、存储和冷却合计，投资约500亿美元，建成后每年可带来约400亿美元的收入。

投入如此之大，时间就成了最贵的变量，投产每晚一个季度，运营商就少收约100亿美元。

“100亿美元的收入，足以让任何人焦虑。”老黄说。

而AI工厂恰恰很难按时投产，在机房内部，服务器、交换机、线缆和液冷管路都要运到现场，再逐一安装、布线、调试，这个过程通常需要6个月左右。在机房外部，项目还要排队等待电网接入，等待用水审批。

也正是在这样的背景下，“AI是制造业”这句话有了具体的含义。

评价一座AI工厂，除了每MW电力能产出多少Token，还要看设备进场后多少天能产出第一个Token。前者是效率，后者是交付，两者共同决定这座工厂能否盈利。

那么，当衡量标准从单颗芯片转向整条产线，只优化芯片便不够了。制造业提高效率，靠的是三件事：在工厂里预制标准件，按需调度能源，在出厂前完成检验。对应到AI工厂，就是把现场施工搬进车间，把固定预留的电力变成动态分配，把安全检查从事后补救变成事前强制。

而老黄在柏林的发布，都能对应到这三件事。

只不过，NVIDIA想预制的，不只是一台服务器，而是一座AI工厂；想调度的，不只是机房里的电，还包括机房外的电网；想检验的，也从芯片一路延伸到了智能体、汽车和机器人。

01 DSX POD的预制逻辑，把工期从“月”缩短到“天”

要把现场施工搬进车间，首先需要弄清现场施工为何如此缓慢。

现场施工缓慢的根源，在于AI服务器形态的变化。过去的通用服务器都是独立整机，运抵机房、装入机柜，接通电源和网络即可运行。

AI服务器则不同，为了让几十颗GPU像一颗更大的GPU那样协同工作，NVIDIA将整个机架设计成了一台计算机。

Vera Rubin NVL72就是这样一套机架级系统，72颗GPU通过NVLink铜缆背板连成一体，整机采用液冷。在柏林，老黄宣布：“Vera Rubin已经全面投产。”

由于机架内部的线缆和管路布置得极为密集，难以在现场组装，NVL72一直是在工厂完成组装和测试后，再整机运往机房。

然而，机架只是AI工厂的一个单元，机架之间的横向扩展网络、供电线路和冷却管路，仍然需要在现场逐一连接。以7个NVL72机架为例，机架之间的Spectrum-X网络线缆就长达17km。

线缆和管路越多，接错与渗漏的风险就越高，而且这类问题往往要到全部安装完成、进入联调阶段才会暴露。一旦返工，整个工期都要随之后移。

为了避免现场返工，DSX POD把NVL72在单个机架上的做法扩展到了一组机架，将机架之间的布线、通水、通电和联调，也从机房现场转移到了工厂车间。问题在出厂前就被发现和解决，现场需要处理的工作随之大幅减少。

具体而言，DSX POD是一套Vera Rubin AI工厂参考设计，合作伙伴在模块化集装箱中放入7个Vera Rubin NVL72机架，并在出厂前完成机架间布线、配线、布管和功能验证。一个集装箱内约有1000万个零部件，重约28t，其中仅NVLink铜缆就有约3万根，总长约20km。

集装箱运抵现场后，只需完成吊装、互联、验证和最终的烧机测试。与此同时，现场在平整场地、建设变电站的过程中，车间也在同步进行布线和测试，原本串行的工序转为并行，总工期随之缩短。

按照NVIDIA公布的数据，在场地准备就绪的前提下，部署时间可以从6个月缩短至最短14天，设备运抵后到产出Token的时间，也可以从4至5个月缩短至1个月左右。

“AI工厂在开始产出Token时创造价值，而不是在施工完成时。”老黄说。

不过，硬件安装完成并不意味着工厂能够立即产出Token，因为GPU集群的软件栈层层叠加，内核、驱动、容器运行时和Kubernetes算子之间，任何一处版本不匹配，都可能引发难以复现的故障。

为此，NVIDIA在DSX OS中开源了AI Cluster Runtime（AICR），其工作流依次分为采集、配方生成、打包、部署和验证几个环节。AICR先采集EKS、GKE或裸金属集群的环境信息，再通过手动输入或自动发现，生成一份声明式的配方文件，其中写明了约束条件、组件版本和验证项。

配方随后被打包成部署包，并附上签名证明，以保证软件供应链的完整性，再交由ArgoCD、Helm等现有的GitOps或持续部署工具完成部署，最后进行就绪性、部署、性能和一致性验证。相同的输入始终得到相同的部署结果，软件也就和硬件一样，在出厂前完成了“预制”。

AI Cluster Runtime端到端工作流：集群信息采集、配方生成、打包、部署与验证

（截取自：GitHub NVIDIA/aicr）

集装箱能在车间提前造好，前提是芯片供应充足。

为此，NVIDIA在柏林同步宣布了供应链扩产，其中扩产幅度最大的是光互连，原因在于集群规模越大，机架之间的距离越远，对光纤传输的依赖也就越强。

传统可插拔光模块与交换芯片之间隔着一段较长的电走线，高速信号在走线上不断衰减，需要额外的重定时电路来补偿。共封装光学（CPO）则把光引擎直接封装在交换芯片旁边，电通道缩短之后，补偿电路减少，功耗也随之降低。

02 从“刚性负荷”到“可调度负荷”，DSX加速AI工厂与电网协同

除了工期，AI工厂建成之后每天消耗的大量电力和冷却用水，同样是运营商必须解决的问题，而电和水正对应着五层蛋糕最底层的能源。

电和水之所以密切相关，是因为GPU消耗的电能几乎全部转化为热量，而目前大量数据中心依靠冷却塔蒸发水来散热，AI工厂用电越多，蒸发的水量也就越大。

为了减少蒸发散热，Vera Rubin支持100%液冷，冷却液温度最高可达45°C，相当于ASHRAE液冷水温分级中W45等级的上限。

冷却液温度之所以关键，与干冷器的工作原理有关。干冷器与汽车散热器类似，水在密闭管路中循环，由风扇吹过散热片带走热量，整个过程不消耗水。

但是，干冷器只能将水冷却到比室外气温高几度的水平，因此，允许的供水温度越高，全年仅依靠干冷器、无需启用冷却塔的时间就越长。

按照NVIDIA的估算，在2GW规模下，干冷器方案相比冷却塔方案每天可节约5400万升水，约相当于18万户家庭的日用水量。

除了用水，用电同样存在优化空间。数据中心通常按设备铭牌功率预留电力，但服务器很少同时达到峰值，预留的电力往往无法充分利用。

在大模型推理中，这部分余量更为明显，因为推理分为预填充（Prefill）和解码（Decode）两个阶段。预填充需要一次性处理整段输入，计算密集，功耗较高；解码逐个生成Token，主要受内存带宽限制，功耗较低。

两个阶段交替进行，整机功耗也随之频繁波动，DSX MaxLPS的作用正是利用这部分余量。通过实时监测每块GPU、每个机架的功耗，并按负载类型把富余电力重新分配给需要的计算单元，从而在总功率预算不变的前提下，运行更多的计算任务。

在产出同样多Token的前提下，MaxLPS最多可以减少30%的用电。在云服务商Lambda基于HGX B200的概念验证中，固定功率预算下集群的Token吞吐量提升了24%，Nscale在冰岛的4个GB300 NVL72机架上，推理吞吐量提升了49%。

机房内部的电力得到优化后，下一步是与机房外部的电网协同。电网的发电和输电能力，是按照一年中负荷最高的少数时段规划建设的，如果大型用户能在这些时段适度降低用电，电网就能释放出容量，接入更多负荷。

DSX Flex就是为这种配合设计的标准接口。电网运营商通过DSX Flex API直接向数据中心发送信号，数据中心据此降低负载，或将部分任务延后执行。

在与英国国家电网等机构的早期试验中，Blackwell Ultra集群在模拟电网事件期间把功耗降低了最多40%，关键业务照常运行。对电网公司而言，这样一座能在高峰时段主动降载的数据中心，显然比必须24小时满功率供电的数据中心更容易获得接入批准，在电网容量紧张的地区，这直接影响项目排队并网的时间。

电、水、热和场地之间相互关联，任何一处调整都会影响其他环节，因此最好在动工之前通过仿真完成推演。NVIDIA在GitHub上开源的Omniverse DSX Blueprint，就基于DSX参考设计，为一座50英亩的园区构建了数字孪生。

在这套工作流中，厂商的CAD模型先被转换成OpenUSD几何体并完成校验，再挂上供电、冷却和接口等元数据，成为“仿真就绪”（SimReady）的AI工厂资产。这些资产与企业的PLM数据一起装配，进入AI工厂数字孪生（AIF-DT），并与网络、电网、热、场地和电气五类仿真联动。

其中，热仿真用来计算热通道里的气流和温度分布，代理模型则用AI近似替代耗时的物理仿真，让工程师在调整机架配置后能更快看到结果。

Omniverse DSX Blueprint工作流：SimReady资产经几何与元数据校验进入AI工厂数字孪生（AIF-DT），再与网络、电网、热、场地和电气仿真联动

（截取自：GitHub NVIDIA-Omniverse-blueprints）

03 从沙箱到DPU：NVIDIA给智能体划出“软硬”两道权限边界

除了AI工厂的建设和供能，工厂产出的Token最终流向何处、被用于何种任务？

在企业场景下，智能体消的耗Token越来越多，而智能体不仅回答问题，还会调用工具、读写数据、访问内部系统，一旦出错，后果远比回答错误严重。

老黄在演讲中提醒：“智能体有多大用处，取决于你给它多少访问权限。”

权限越宽松，智能体的能力越强，但被恶意利用时造成的损失也越大。比如，攻击者可以把指令藏进智能体会读取的网页、邮件或文档，模型读到这些内容时，就可能把其中的指令当作任务执行。

对大模型而言，数据和指令都是文本，难以在模型内部彻底区分，因此仅依靠模型本身，无法约束智能体的行为。OpenShell参考架构的思路，是在模型外部增设一道强制检查，并把这道检查从软件一直做到硬件。

“AI能力与安全必须同步前进。”老黄表示。

在软件层，OpenShell采用控制面与数据面分离的架构，网关（Gateway）作为控制面，负责API服务、策略证明、状态存储和沙箱调度；运行时作为数据面，把智能体当作不可信负载（Untrusted Workload），放在网络隔离的容器或虚拟机沙箱中运行。

沙箱的默认规则是拒绝所有出站连接，唯一的出口是Supervisor，策略评估、凭证解析、DNS和代理都在Supervisor中完成。智能体无法获取真实凭证，只有发往已批准地址的请求，才会被附上凭证。

OpenShell系统架构：网关（控制面）负责策略证明与沙箱调度，运行时（数据面）中的Supervisor代理智能体的全部外部访问，沙箱默认拒绝出站连接

（截取自：GitHub NVIDIA/OpenShell）

除了一次访问都要检查，检查规则本身的修改也需要把关。当智能体通过policy.local提出新的权限申请时，网关中的Policy Prover会通过形式化验证（Formal Verification），推导出此次改动开放了哪些新权限。

例如，带着凭证访问一台新主机，或者调用一个新的API方法，都属于需要关注的改动。这类存在风险的改动须经人工审批，Supervisor才会重新加载策略。

具体到每一次网络请求，智能体进程发起的TCP或DNS请求会先被沙箱识别出发起程序，再经由Unix socket、TCP或vsock组成的沙箱协议，送到可信侧的隔离后端核验进程身份。

随后，策略执行模块逐项检查目标地址、发起请求的二进制程序、七层（应用层）规则和凭证，只有全部通过，连接才能到达上游服务，其余出站流量一律拒绝。

OpenShell沙箱的策略执行流程：请求经沙箱协议到达隔离后端校验身份，再由策略执行模块检查目标、程序、七层规则与凭证，只有获批连接才能到达上游服务

（截取自：GitHub NVIDIA/OpenShell）

老黄介绍说：“OpenShell以Apache 2.0协议开源，可以在智能体运行的任何地方使用，从边缘到云端，只需两条命令就能部署。”

不过，软件设计得再严密，终究运行在主机之上，主机一旦被攻破，检查机制也可能被绕过，因此NVIDIA将最后一道防线交由硬件实现。在柏林发布的参考架构中，Vera Rubin NVL72负责训练和推理；Vera CPU运行执行框架和工具调用；BlueField-4 DPU则运行NVIDIA Sentry，在带外监测智能体与模型之间的流量。

DPU拥有独立的处理器和内存，与主机相互隔离，即使主机侧软件出现问题，DPU上的策略依然能够执行，智能体一旦越界，ms级时间内就会被隔离。

老黄的总结是：“智能体在Rubin上思考，在Vera上行动，在BlueField上接受治理。”

04 物理AI“ChatGPT时刻”前，NVIDIA造好了的“参考平台”

智能体出错，损失的是数据；物理AI一旦出错，则可能危及人的安全，因此在汽车和机器人领域，出厂前的检验显得更为关键。

“Robotaxi是机器人与物理AI的第一个大众市场应用。”老黄说。

汽车也是物理AI最先走向规模化的领域。为了让车企无需从零构建自动驾驶系统，NVIDIA推出了面向L2到L4级车辆的参考平台Hyperion，其标准配置为14个摄像头、9个毫米波雷达、3个激光雷达和双GPU系统。

不过，有了标准化的硬件，车端还需要能够实时运行的模型。NVIDIA此前发布的Alpamayo 2 Super，是一个340亿参数的视觉-语言-动作（VLA）模型，自车运动历史、多摄像头视频和导航指令等输入，会先由各自的编码器转换成运动、视觉和语言Token，再送入320亿参数的Cosmos 3 Super推理主干。

在此基础上，推理主干先生成一段“因果链”（Chain-of-Causation）推理文本，解释为什么要这样驾驶，再由20亿参数的扩散动作专家（Action Expert）采样出未来的行驶轨迹。

除了轨迹，同一个模型还能输出视觉问答（VQA）、元动作和2D视觉定位结果。

Alpamayo 2 Super模型架构：自车运动历史、多摄像头视频与文本提示经编码进入Cosmos 3 Super推理主干，由动作专家输出轨迹及因果推理结果

（截取自：GitHub NVlabs/alpamayo2）

然而，340亿参数的Alpamayo 2 Super对显存和算力的要求很高，难以直接部署在车端。为此，NVIDIA这次推出了只有20亿参数的Alpamayo 2 Edge，它可以在车载芯片DRIVE AGX Thor上以10Hz运行，即每100ms完成一次场景理解和运动规划。

模型能够装进车里之后，安全论证随之成为新的难题，而且端到端模型的能力越强，论证的难度就越大。传统功能安全关注的是硬件或软件失效后的应对，SOTIF（预期功能安全，ISO 21448）关注的，则是系统并未失效，却因感知或决策能力不足而导致的风险。

神经网络的问题大多属于后一类，尤其是训练数据中很少出现的长尾场景，几乎无法穷举。针对长尾场景带来的风险，NVIDIA新发布的Halos SAFE开放了NCAP、DCAS和SOTIF相关的测试用例，并借助Cosmos和Omniverse NuRec生成大量新场景。

同时，Halos SAFE还把仿真、软件在环（SIL）、硬件在环（HIL）、道路测试和车队监测串联起来，形成一套可以逐项追溯的测试记录，为车企和认证机构提供安全论证的依据。

从Hyperion到Halos SAFE，NVIDIA在汽车上采用的是“参考平台加前置检验”的做法，而这套做法如今也被用到了人形机器人上。由于人形机器人的硬件门槛很高，许多研究团队需要先投入大量时间研制硬件，才能开始训练模型，因此NVIDIA与慕尼黑的Agile Robots合作，推出了参考人形机器人Agile ONE SN。

Agile ONE SN“身高”1.40m，重40kg，躯体有31个自由度，每只灵巧手另有20个自由度，搭载算力为2070 FP4 TFLOPS的Jetson Thor和128GB统一内存。按照计划，这台机器人将于2027年初以预装整机的形式提供。

不过，硬件就绪之后，研究团队面临的更大难题是训练数据，因为真实操作数据采集成本高、数量少，而仿真数据又与真实世界存在差异。Isaac GR00T公开的参考工作流，正是为了解决这个问题而设计的。

在数据生成环节，人类遥操作采集的真实数据，会经GR00T Mimic扩增成大量合成运动数据，Cosmos世界模型和GR00T Dreams则生成“神经轨迹”，补充真实世界难以采集的场景。随后，这些真实数据与合成数据被用于在RTX PRO Server或B300上后训练GR00T N基础模型。

训练完成后，模型先在Isaac Sim中进行软件在环测试，再进行硬件在环测试，最后才部署到机器人搭载的Jetson Thor上。其中任何一个环节精度不达标，都要返回数据生成环节补充数据，这与汽车领域的Halos SAFE一样，都是把检验放在部署之前。