公众号记得加星标⭐️,第一时间看推送不会错过。

在过去十多年的数据中心CPU竞争中,核心数量一直是厂商提升处理器吞吐量的重要手段。但随着AI Agent兴起,英伟达认为,CPU的设计重点正在发生变化:在增加核心数量的同时,处理器也需要重新重视单线程性能。

10月18日,Wccftech刊发对英伟达Vera CPU团队的专访。英伟达团队回顾了数据中心CPU的发展路线,并指出,过去云计算市场对核心密度和整体吞吐量的追求,使单线程性能和每时钟周期指令数(IPC)在一定程度上被放到次要位置。而AI Agent带来的新需求,正在改变这一取舍。

英伟达推出的Vera CPU,正是针对这一变化进行设计的产品。其思路并非单纯增加核心数量,而是试图将较高的单线程性能、内存带宽和整体吞吐量结合起来。

从追求单核性能,到追求更多核心

英伟达团队在专访中,将过去十多年的数据中心CPU发展划分为两个阶段。

第一个阶段是2010年代初期。当时,英特尔等厂商更加重视单个CPU核心的性能,通过较高的运行频率等方式提升单线程处理能力。不过,由于核心数量相对有限,处理器的整体吞吐量也受到限制。

随着大型云服务商不断扩大数据中心规模,市场需求开始发生变化。对于云服务商而言,如何在一台服务器中容纳更多CPU核心、承载更多任务,直接关系到服务器的利用率和经济效益。

在这一背景下,处理器厂商开始更加重视核心数量,并逐渐采用多芯粒设计,将多个计算芯粒组合成一颗处理器。

英伟达团队认为,这种发展路线虽然提高了处理器的核心密度和整体吞吐量,但也使单线程性能和IPC的优化受到限制。按照其解释,当处理器采用芯粒设计、需要在有限的芯片面积内安排更多核心时,留给单个核心进行性能优化的空间也会受到影响。

需要注意的是,英伟达的这一判断是其对过去数据中心CPU设计路线的解读,并不意味着芯粒设计必然牺牲单核性能。芯粒架构能够提高设计灵活性,并在制造成本和产品扩展方面带来优势。不同处理器的单核性能,仍取决于具体的微架构、频率和设计取舍。

不过,随着AI Agent成为新的计算负载,过去以核心数量和整体吞吐量为重点的设计思路,确实面临新的挑战。

AI Agent为何需要更强的单线程性能?

英伟达认为,AI Agent正在让CPU重新回到AI计算系统的关键位置。

在AI Agent的执行过程中,CPU和GPU需要反复协同工作。GPU负责模型推理等计算任务,而CPU需要完成推理流程中的串行工作,并为下一阶段计算做好准备。

英伟达团队在专访中强调,GPU是AI基础设施中价值最高、成本也很高的计算资源之一。因此,CPU必须尽快完成Agent执行过程中需要处理的串行任务,让GPU及时进入下一轮推理,避免昂贵的GPU资源因等待而闲置。

这也是AI Agent与单纯追求并行计算吞吐量的工作负载之间的重要区别。

当任务能够充分并行时,增加核心数量往往能够提高整体吞吐量。但如果某个执行步骤必须等待前一个步骤完成,即使处理器拥有更多核心,也不一定能够缩短这段串行执行时间。

因此,在英伟达看来,AI Agent时代的数据中心CPU需要同时具备较高的单线程性能和较高的整体吞吐量,而不能只强调核心数量。

这也是Vera的设计目标:让CPU既能够快速完成单个任务,又能够支持大规模并发工作负载。

Vera如何实现这一目标?

根据英伟达团队在专访中的介绍,Vera主要通过三项设计来实现这一目标。

首先是单片式计算裸片。

Vera采用单片式计算裸片,将所有CPU核心集成在同一块计算裸片上。英伟达团队认为,这样可以让不同核心直接通过片上互连进行通信,避免跨越不同计算芯粒之间的I/O边界,从而减少相关通信延迟。

其次是定制LPDDR5X内存子系统。

英伟达将高内存带宽视为Vera的重要设计特点。对于AI Agent而言,CPU不仅需要执行指令,还需要持续访问任务运行过程中涉及的数据。提高内存带宽,有助于减少核心等待数据的时间,支持更高的并发处理能力。

第三是第二代NVIDIA Scalable Coherency Fabric。

这一互连架构用于连接CPU核心及相关片上资源。英伟达公布的Vera核心间双向分割带宽达到3.4 TB/s。按照其在专访中的说法,这一数值约为其所比较的领先x86处理器的3倍。

需要强调的是,双向分割带宽衡量的是处理器不同部分之间的整体通信能力,并不意味着单个核心的性能或所有应用的运行速度都能提高到3倍。

通过上述设计,英伟达希望减少核心间通信开销,并在提高单线程性能的同时,维持处理器的整体吞吐量。

CPU竞争的重点正在发生变化

从Vera的设计思路来看,英伟达希望解决的并不是传统CPU核心数量不足这一单一问题,而是AI Agent工作负载下,单线程性能、内存访问和核心间通信之间的协同问题。

过去,数据中心CPU主要面向大规模云计算任务,核心数量和整体吞吐量是重要的设计目标。如今,AI Agent需要CPU与GPU反复协同,CPU能否快速完成串行任务,也会影响整个系统的运行效率。

不过,这并不意味着芯粒设计已经失去价值,也不意味着所有数据中心CPU都需要转向单片式架构。对于不同的工作负载,核心密度、制造成本、扩展能力和单线程性能之间仍然需要权衡。

Vera所体现的变化在于,随着AI Agent的发展,CPU的评价标准正在变得更加多元。除了核心数量和总体吞吐量,单线程性能、内存带宽以及核心间通信能力,也正在成为AI基础设施设计中需要重点考虑的因素。

对于CPU厂商而言,未来的竞争不仅是比谁能在一颗芯片中集成更多核心,还要看谁能更好地满足AI Agent对响应速度、并发处理和系统协同的综合需求。

(来源:编译自wccftech)

*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4564期内容,欢迎关注。

加星标⭐️第一时间看推送~

求推荐