英伟达的芯片命名很有讲究,它的所有芯片系列都是科学家的名字。这一次发布的超级计算机所用的GH,就是Grace Hopper的缩写。咱们就来说说Grace Hopper和这款芯片和它的跨时代意义。

编程之母

Grace Hopper是美国计算机科学家、数学家和美国海军少将。她是哈佛Mark I计算机的第一批程序员之一,是计算机编程的先驱,发明了最早的链接器之一。霍普是第一个设计出与机器无关的编程语言理论的人,她用这个理论创造的FLOW-MATIC编程语言后来被扩展为COBOL,一种早期的高级编程语言,至今仍在使用。Fortran也有她的功劳。

打开网易新闻 查看精彩图片

由于当年的计算机是电子管,会有虫子飞进去导致短路,所以Hopper发明了debug捉虫一词,这个词但凡和编程有点渊源的人都不陌生。

为了纪念这位计算机先驱,英伟达把新一代计算芯片命名为Grace Hopper。

强大的Grace Hopper芯片

英伟达的Grace Hopper是两个处理器做在了一个PCB上,它分为Grace和Hopper两部分,如下图,一左一右。

打开网易新闻 查看精彩图片

Grace是CPU,它是ARM架构的。

72个Arm Neoverse V2内核,采用Armv9.0-A ISA,每个内核4×128位SIMD单元。117MB的L3高速缓存。512GB的LPDDR5X内存,提供高达546GB/s的内存带宽。64X的PCIe5.0通道。英伟达可扩展一致性结构(SCF)网状和分布式缓存,内存带宽高达3.2TB/s。

Hopper是 GPU:
高达144个SM,拥有第四代Tensor Cores、Transformer Engine、DPX,与英伟达A100 GPU相比,FP32和FP64的整体性高出3倍。高达96GB的HBM3内存,提供高达3000GB/s的速度。二级缓存60 MB。扩展GPU内存功能使Hopper GPU能够将所有CPU内存作为GPU内存进行寻址。每个Hopper GPU可以在一个超级芯片内寻址多达608 GB的内存。

NVIDIA NVLink交换系统:
使用NVLink 4连接多达256个NVIDIA Grace Hopper超级芯片。每个连接NVLink的Hopper GPU可以寻址网络中所有超级芯片的所有HBM3和LPDDR5X内存,从而获得高达150TB的GPU可寻址内存,256个Grace Hopper就是英伟达的GH200超级计算机。

打开网易新闻 查看精彩图片

256个Grace Hopper有多强?英伟达表示它有1EB的计算能力!这是什么概念?刚刚出炉的世界超级计算机Top500排名,第一名的Frontier也就是1.1E的算力,1EB的算力,约等于Top500的25%!当然超级计算机的算力都是针对性的,英伟达的GH200有两大优势:第一是量产,第二则是针对AI推理这些的优化,能让大模型LLM运行的更快,或许年底在大企业部署之后,我们使用AI的成本和速度都能得到提升。

AI被成为近40年来3D显卡以后最伟大的发明,英伟达正是提供AI算力的企业。或许