推理时代，一种芯片吃天下的架构开始松动了|gpu|推理|神经网络|英伟达

作者｜冬梅

最会卖 GPU 的公司，突然开始强调 CPU

过去三年的 AI 基础设施故事，几乎是一部 GPU 扩张史。

从 GPT-3 到千亿、万亿参数的基础模型，模型参数、训练数据和训练计算量不断增加，基础设施也随之从千卡、万卡走向十万卡。GPU 数量、FLOPS、显存容量和互联带宽，逐渐成为衡量一套 AI 系统最直观的指标。

翻看这几年 AI 前线报道模型发布的相关文章就会发现，标题中模型用了多少张 GPU、训练了多少 GPU Hours，正在和参数量、Benchmark 一样，成为展示模型规模的指标。

这种扩张到底有多快，从几家头部 AI 公司的集群规模就能看出来。

2023 年，H100 刚开始大规模进入数据中心时，Omdia 估计，仅当年第三季度，英伟达就出货了接近 50 万颗 H100 和 A100 GPU，即使这样依然一卡难求。

服务器 OEM 厂商表示，配备英伟达 H100 GPU 的服务器交付周期为 36～52 周。

仅仅一年后，Meta 给出的基础设施目标已经达到另一个量级：到 2024 年底拥有 35 万颗 H100，如果将其他 GPU 的算力一并计算，整个基础设施的计算能力将接近 60 万颗 H100。

与此同时，GPU 集群的规模也开始从“万卡”跨入“十万卡”。

2024 年，xAI 在孟菲斯建成 Colossus，第一阶段就将 10 万颗 NVIDIA Hopper GPU 连接进同一个超级计算机集群。随后，xAI 又继续扩容。按照 xAI 目前公布的数据，Colossus 已经扩展至 20 万颗 H100 GPU。

微软就走得更远了。其 2025 年公布的 AI Superfactory 规划，已经不再把一座数据中心视为计算边界，而是通过专用网络把多个数据中心连接起来，使数十万颗最新 GPU、数百万个 CPU 核心以及 EB 级存储共同组成一个大型 AI 计算系统。

位于亚特兰大费尔沃特园区的所有 GPU 之间通过高速、高吞吐量的网络共享信息。图片由微软提供。

GPU 不只是越来越多，也越来越紧密地被组织在一起。

从 H100、H200，到 Blackwell，再到 Blackwell Ultra，英伟达持续把 GPU、HBM 和高速互联绑定成更大的计算域。

以微软部署的 GB300 NVL72 为例，一个机架内部可以连接 72 颗 Blackwell Ultra GPU，形成约 37TB 的高速内存池，机架内部 NVLink 总带宽最高达到约 130TB/s。

这背后的逻辑并不复杂。

训练一个大模型，本质上需要进行规模庞大的矩阵运算。这种高度并行、计算密集的任务天然适合 GPU。模型越来越大，需要的 GPU 越来越多；GPU 越来越多，又要求更大的显存、更高的 GPU-GPU 带宽以及更复杂的 Scale-up 和 Scale-out 网络。

因此，过去几年 AI 基础设施最核心的问题之一，一直是：

怎么把更多 GPU 连接起来，并让它们尽可能像一颗巨大的 GPU 一样工作。

英伟达的财务数据几乎就是这场 GPU 扩张最直接的注脚。

2024 财年，英伟达数据中心业务收入约为 475 亿美元；2025 财年迅速增加至约 1152 亿美元，同比增长 142%；到了 2026 财年，英伟达数据中心收入进一步达到约 1937 亿美元。短短两年，英伟达数据中心业务收入增长了约三倍。

更重要的是，英伟达自己披露，2026 财年数据中心 Compute 收入仍同比增长 59%，主要由 Blackwell 平台需求推动；数据中心 Networking 收入则增长 142%，背后主要是 NVLink Compute Fabric、Ethernet 和 InfiniBand 的扩张。

这组数据其实很好地解释了过去三年 AI 基础设施发生了什么：GPU 在增加，连接 GPU 的网络也在增加；单颗 GPU 性能在提升，GPU 被组织起来的规模也在扩大。

从这个角度看，把过去三年称为一场“GPU 扩张”并不夸张。

但进入 2026 年之后，一个有意思的变化出现了。

当整个行业已经习惯讨论 H100、H200、Blackwell，习惯讨论万卡、十万卡集群和 NVLink 带宽时，最会卖 GPU 的那家公司，突然开始花越来越多篇幅讨论另一种处理器：CPU。

2026 年，英伟达正式推出新一代 Vera CPU，并给了它一个极具时代意味的定位——“The CPU for Agents”。

这不是英伟达第一次做 CPU。

早在 Hopper 时代，英伟达就已经推出基于 Arm 架构的 Grace CPU，并进一步把 Grace 与 Hopper GPU 组合成 Grace Hopper Superchip。到了 Blackwell，Grace 又成为 GB200、GB300 等系统的重要组成部分。

但 Vera 的不同之处在于，英伟达开始直接把 CPU 的价值与 Agent 联系起来。

英伟达列出的 Vera 典型工作负载，并不是大模型最核心的矩阵计算，而是 Python Runtime、沙箱代码执行、Agent 编排逻辑、数据分析以及数据处理流水线。

在官方介绍中，英伟达列举的 Vera 重点工作负载包括 Python Runtime、沙箱代码执行、Agent 编排逻辑、数据分析和数据处理流水线。

这些工作有一个共同特点：它们都不是大模型最核心的矩阵计算，却是一个 Agent 真正把任务做完必须经过的环节。

为什么 Agent 时代突然需要这么多 CPU？

一个非常直观的变化，是 CPU 和 GPU 的配比正在发生变化。

今年 5 月份，AMD 在一篇关于 Agentic AI 基础设施的文章中提到，在此前以 Chatbot 为主的 AI 系统里，一颗 CPU 通常可以搭配 4～8 颗 GPU。

进入 Agentic AI 后，这个比例正在向 1:1 移动，在一些工作负载中甚至可能需要更多 CPU。

此外，英特尔管理层也给出了类似判断。

在 2026 年第一季度财报电话会上，Intel 表示，大模型训练集群通常是一颗 CPU 对应 7～8 颗 GPU；到了推理阶段，这一比例已经缩小至约 1:3～1:4，而随着 Agentic AI 和 Multi-Agent 工作负载增加，CPU 与 GPU 的比例可能进一步向 1:1 靠近，甚至出现 CPU 占比更高的情况。

从 1:8 到 1:1。

如果只看这个数字，很容易把它理解成“CPU 回来了”，甚至认为 GPU 在 AI 系统中的重要性正在下降。

但真正发生的事情恰恰不是 GPU 变得不重要了，是工作负载已经发生变化。

Imagination Chief Business Officer Jake Kochnowicz 表示：“训练一个大模型时，大部分核心工作都是高度规则的大规模矩阵计算。一旦数据准备完成，GPU 可以长时间持续运行。CPU 更像站在 GPU 后面的‘主持人’：负责操作系统、I/O、数据准备和任务调度，最重要的任务之一，就是保证昂贵的 GPU 不要停下来。”

传统 Chatbot 推理虽然已经比训练复杂，但整个链路仍然相对直接：

用户输入 Prompt → 模型推理 → 返回答案。

到了 Agent，这条链路被彻底拉长了。

比如一个 Coding Agent 接到“检查这个代码库并修复 Bug”的任务后，首先可能需要拆解任务，然后读取目录结构、搜索代码文件、构建上下文，再调用大模型判断问题出在哪里。模型给出下一步计划之后，任务并没有结束。

Agent 还需要运行 Python、Shell 或测试脚本，读取程序输出，再把执行结果重新放进上下文，让模型继续判断。如果第一次修改失败，就继续搜索文件、调用工具、运行测试，再进行下一轮模型推理。

一次用户请求，由此可能变成：任务拆解 → 数据检索 → 上下文构建 → GPU 推理 → Tool Call → CPU 执行 → 返回结果 → GPU 再推理 → 再次调用工具……

一个 Deep Research Agent 同样如此。

它需要搜索网页、访问数据库、解析 PDF、调用 API、整理不同来源的信息，再将真正需要语言模型处理的内容交给 GPU。一个企业 Agent 还可能涉及权限检查、业务系统访问、SQL 查询、数据清洗甚至传统应用程序的执行。

Jake 强调，在这个过程中，Agent 并没有减少 GPU 的工作。它是在两次 GPU 推理之间，塞进了越来越多 CPU 工作。CPU 从过去负责“把任务送到 GPU”，开始真正参与任务本身。

一些学术研究已经观察到了这种变化。

2025 年，一项针对 Agentic AI 系统的研究分析了 Haystack RAG、Toolformer、ChemCrow、LangChain 和 SWE-Agent 等五种工作负载。研究人员发现，在部分 Agent 工作负载中，CPU 上的 Tool Processing 最多可以占到整个请求延迟的 90.6%；在较大 Batch 场景下，CPU 动态能耗最高可以占系统动态能耗的 44%。

换句话说，即使真正的大模型仍然运行在 GPU 上，最终决定一个 Agent “多久把事情做完”的，也可能是 GPU 外面的部分。

到了 2026 年，这个问题进一步进入真实生产环境。来自微软 Azure 等机构的研究人员对生产环境中的 Agent 工作负载进行分析后发现，Agent 请求具有非常明显的阶段性：它会在 LLM inference、tool invocation 和 orchestration decision 之间不断切换。

模型推理主要发生在 GPU 上，而工具调用和大量编排逻辑运行在 Host CPU 上。这意味着一个 Agent 在完成任务的过程中，会不断跨越 CPU 和 GPU 的边界：GPU 算完一轮，等待 CPU 执行工具；CPU 得到结果，重新组织上下文，再把任务交回 GPU。研究人员因此指出，CPU 已经进入 Agent 执行的 Critical Path。如果 CPU 跟不上，GPU 就可能等在那里。

事实上，不同 Agent 的计算结构差别可能非常大。

Coding Agent 会产生大量代码搜索、编译和执行任务；Deep Research Agent 更依赖搜索、网页解析和数据处理；机器人 Agent 则同时涉及视觉感知、传感器处理、路径规划和模型推理。

因此，与其说大佬们预测的 1:1 这样一个比例是未来配比的标准答案，不如说这更像是一个趋势信号：它真正说明的是，过去围绕 GPU 建设 AI 基础设施时被压缩到后台的 CPU 工作，正在被 Agent 重新放大。

AI 芯片真正昂贵的，不是“算”，是“搬”

从 1:8 走向 1:1，表面上看是 Agent 改变了 CPU 和 GPU 的配比，但如果继续往系统内部看，会发现问题远不只是“应该多配几颗 CPU”。

当 CPU、GPU、NPU 同时参与一项 AI 任务之后，一个过去容易被峰值算力掩盖的问题正在变得越来越重要：数据到底在哪里？为了完成一次任务，它又需要在不同计算单元之间移动多少次？

在采访中，Jake 反复提到一个问题：Data Movement，数据移动。

按照 Jake 的解释，今天很多异构 SoC 已经把 CPU、GPU 和 NPU 集成到同一颗芯片上，但“物理上放在一起”，并不意味着它们真正成为了一个统一的计算系统。

假设 GPU 正在处理一帧图像，接下来需要 NPU 执行一次 AI 超分辨率。传统路径下，GPU 首先完成自己的部分，然后把中间结果写入 DDR；NPU 再从内存读取数据，完成神经网络计算后重新写回内存；最后 GPU 再次读取结果，继续后面的渲染。

一次看起来很简单的 GPU 与 NPU 协作，实际的数据路径可能是：GPU → DDR → NPU → DDR → GPU。

GPU 很快，NPU 也很快。

但数据不会凭空出现在下一个处理器里。

Jake 将这种跨越不同计算单元所产生的额外成本形容为一种 “Border Tax”——边境税。

每跨越一次处理器边界，数据都可能需要重新写入、读取和同步。最终付出的不只是延迟，还包括内存带宽、功耗以及额外的工程复杂度。

这也是为什么，在 AI 芯片上，单纯比较 TOPS 和 TFLOPS 越来越难以完整解释真实应用的效率。

过去几年，AI 芯片竞争最直观的指标一直是峰值算力：GPU 有多少 TFLOPS，NPU 有多少 TOPS，新一代芯片比上一代提高了多少。

但真实工作负载不仅需要“算”，还需要不断地“搬”。

模型权重、输入数据和中间结果需要进入计算单元，计算结束之后又可能进入 Cache、片上内存或者外部内存，等待下一步处理。如果一个任务不断穿过 CPU、GPU 和 NPU，数据移动带来的成本也会随之增加。

这背后正是计算产业讨论多年的 Memory Wall：计算能力快速增长，但内存带宽和数据访问效率并没有始终同步提高。

到了大模型推理阶段，这个矛盾更加突出。

例如 Decode 阶段，每生成一个 Token，都需要持续访问模型权重和 KV Cache。此时继续增加计算单元，并不意味着 Token 生成速度一定同比增加。如果数据无法及时进入计算单元，再高的理论 FLOPS 也可能无法完全发挥。

因此，问题开始从“每秒能够做多少次计算”，转向“每秒能够把多少有效数据送到计算单元”。

这也是 Jake 强调数据移动的核心原因：决定系统效率的不只是每颗处理器有多快，还包括数据为了完成一次任务到底需要走多远。

Agent 出现之后，数据路径进一步变长。

传统大模型推理的主线相对明确：输入 Context，完成 Prefill，再进入逐 Token Decode。Agent 则会不断在模型推理和外部任务之间切换。一个 Coding Agent 可能先读取代码仓库、搜索文件、组织 Context，再调用模型；模型给出判断之后，它还需要运行 Shell、Python、编译器或者测试工具，读取执行结果，然后重新组织 Context，再次调用模型。一次请求因此不再只是：输入 → GPU → 输出。而可能变成：存储 → CPU → GPU → CPU → 工具 → 存储 → CPU → GPU……而且这个循环可能反复发生。

Jake 在采访中也谈到了类似变化。Coding Agent 需要处理越来越大的代码库和 Context，在第一个 Token 出现之前，系统已经需要完成大量数据读取、上下文处理和 Prefill。这意味着，Agent 时代如果仍然只看“每秒生成多少 Token”，越来越难以完整反映真实体验。Time to First Token、Prefill 性能、内存带宽、数据移动、CPU 调度、工具执行和 GPU 利用率，都开始影响一个任务最终需要多久才能完成。这也解释了为什么 Agent 会把 CPU/GPU 的配比问题进一步变成一个系统问题。

GPU 仍然承担大模型最主要的矩阵计算，但两次 GPU 推理之间，被插入了越来越多 CPU 调度、工具调用、代码执行、文件读取和数据处理。一个完整任务开始不断穿过 CPU、GPU、内存、存储、网络，以及部分终端设备上的 NPU。

过去讨论 AI 芯片，可以分别问：CPU 有多快？GPU 有多少 FLOPS？NPU 有多少 TOPS？到了 Agent 时代，一个更重要的问题变成了：数据在哪里？下一步谁来计算？为了让它计算，数据需要移动多远？这意味着 AI 基础设施的竞争正在从单颗处理器的峰值性能，进一步走向整个系统完成任务的效率。

而当系统开始围绕数据、计算和调度重新组织时，过去泾渭分明的 CPU、GPU 和 NPU，也越来越难只待在自己的边界里。

CPU、GPU、NPU，被逼到了同一张桌子上

数据移动的问题继续往下推，最终会碰到一个更根本的问题：既然跨处理器边界这么贵，CPU、GPU、NPU 还有必要像过去一样泾渭分明吗？

答案正在变得复杂。

Jake 谈到一个正在半导体行业发生的变化：“不同处理器正在向彼此的传统领地扩张：CPU 开始增加更多向量和矩阵计算能力；NPU 为了适应不断变化的模型，需要支持更多数据格式和算子；GPU 则不再局限于图形渲染，而是越来越多地承担通用计算、矩阵运算和 AI 工作负载。换句话说，过去非常清楚的分工正在松动。”

CPU 的优势仍然是复杂控制流、操作系统和通用程序执行；GPU 仍然最擅长大规模并行计算；NPU 则通过针对神经网络进行专用化设计，在特定 AI 工作负载上追求更高能效。

但 Agent 不会按照芯片厂商划定的边界工作。

一次任务可能既需要 CPU 执行 Python 和 Shell，又需要 GPU 完成大模型推理，还可能需要 NPU 处理视觉、语音或者其他本地 AI 工作负载。前文提到的数据移动问题，本质上就是这些不同计算单元越来越频繁协作之后产生的结果。

于是，芯片行业开始出现一个看似矛盾的方向：一方面，计算仍然需要异构；另一方面，异构本身又不能太“碎”。

Imagination 在采访中给出了一个很有代表性的案例。

一些端侧 SoC 客户原本已经在一颗芯片中同时部署 CPU、GPU 和 NPU，但现在反过来询问：如果 GPU 的 AI 计算能力足够强，能不能直接承担原本由 NPU 完成的一部分工作？

客户考虑的并不只是芯片面积。

更现实的问题来自软件。

每增加一种独立加速器，往往意味着增加一套编程模型、Runtime、编译器、驱动、性能优化和调试体系。Jake 采访中直言，在一些真实部署中，“软件已经变成了成本最高的部分，而不是硬件本身”。

因此，一些客户宁愿牺牲部分专用硬件在特定任务上的极致效率，也希望减少需要长期维护的软件栈数量。

这也是理解今天 GPU、NPU 融合趋势非常重要的一点：融合并不意味着未来只剩下一种处理器。

真正被压缩的是处理器之间过于僵硬的边界。

这种变化已经能在公开的产品路线中看到。Imagination 自身正在强化 GPU 的 AI 和通用计算能力，其公开资料显示，GPU 已经可以同时承担图形和 AI 工作负载，并支持 INT8、FP8 等 AI 常用数据格式；其官方对这一方向的解释同样强调，GPU 的价值在于可编程性，使同一计算架构能够适应不断变化的 AI、Compute 和 Graphics 工作负载。

CPU 也在往相反方向跨界。以 x86 为例，Intel 与 AMD 在 2026 年公布的 ACE 扩展进一步把面向 AI 的矩阵计算能力引入 CPU 指令体系，其目标之一就是提高 CPU 执行矩阵乘法等 AI 运算时的效率。

所以，未来真正值得讨论的问题就变成了一项任务中的哪部分应该交给谁？

训练时代的答案相对简单。大规模矩阵运算尽可能交给 GPU，CPU 负责 Host 和调度，整个系统围绕“如何把 GPU 喂饱”设计。

Agent 时代，这个答案不再固定。

模型推理仍然需要 GPU，但任务编排、工具执行和复杂控制流把 CPU 重新拉回关键路径；端侧 AI 仍然需要 NPU 提供能效优势，但 GPU 又开始承担越来越多矩阵和神经网络计算；与此同时，数据移动和多套软件栈的成本，又迫使这些处理器减少不必要的边界。

这也是为什么，从 1:8 到 1:1，比数字本身更值得关注的，是数字背后的变化。

过去三年的 AI 基础设施竞赛，很大程度上是在回答一个问题：怎样获得更多 GPU，并把更多 GPU 连接起来？

Agent 带来的下一个问题则是：拿到这些算力之后，怎样让整个系统一起工作？GPU 不会因此失去核心位置，CPU 也不是简单地“重新夺回主导权”，NPU 同样不会消失。

真正发生的，是评价计算系统的方法正在变化——从单颗芯片有多少 FLOPS、TOPS，转向一次任务究竟需要多少时间、多少数据移动、多少能耗，以及多少软硬件协同成本。

Agent 迫使整个计算系统重新分工。

到最后，CPU、GPU、NPU，终将被逼到了同一张桌子上。

https://omdia.tech.informa.com/blogs/2023/dec/server-market-will-be-worth-1956-billion-in-2027-according-to-omdias-data-center-server-tracker