最近,德勤和SIA(美国半导体行业协会)联合发布了一份报告,用“虚拟拆机”的方式,把一台顶级AI机柜从里到外拆了个遍。

阅读本文,你将了解:

  • 一台AI机柜里到底装了多少芯片,钱都花在了哪儿?

  • 最值钱的AI加速器为什么和多数分销商关系不大?

  • 报告拆解的十几个关键部件,各自用了哪些芯片?

01

一台AI机柜

芯片分销的机会在哪里

这份报告把一台顶级AI机柜层层拆解,从最小的硅裸片到最终的服务器机柜,共分为裸片、芯片、板卡、托盘、机柜五个层级,看看到底装了些什么。

打开网易新闻 查看精彩图片

按报告的分法,一台机柜大致由五类“托盘”(tray)组成,各管一块功能:负责核心计算的计算托盘、负责供电的电源托盘、负责运维管理的网络与IPMI托盘、负责加速器之间高速互联的互连托盘,以及负责液冷散热的CDU托盘。

打开网易新闻 查看精彩图片

对于芯片分销商来说,看这样一台机器,真正关心的是一个问题:这几万颗芯片里,哪些是够得着的生意。

要回答它,得先看清价值和数量是怎么分布的。

先看价值。报告显示,芯片占了一台高端AI机柜系统价值量的95%以上,而这部分价值又高度集中在计算托盘,尤其集中在其中的AI加速器身上。AI加速器一项就占整机芯片价值的约74%,单颗售价1万至4万美元。

这颗加速器本身并不是一颗单纯的芯片,而是一个组合体:一到两颗先进制程(7nm及以下)的逻辑die,配上6到12堆HBM高带宽内存(每堆最多叠16层DRAM裸片),再加上互连接口和中介层,用2.5D/3D先进封装打包成一个整体。

按报告图16的拆分,一颗加速器内部约70%的价值是逻辑芯片,约20%是存储。光HBM一项,按每GB约30至50美元计算,一台机柜就要40万至60万美元。

打开网易新闻 查看精彩图片

但是,这也意味着最值钱的AI加速器把三样最难的东西叠在了一起:先进制程逻辑芯片、HBM、先进封装,每一样的供应都掌握在少数厂商手里,由原厂主导。

也就是说,整机里最值钱的这一块,供应高度集中,和多数芯片分销商的关系其实不大。

再看具体价格和数量,一台机柜大约有4500颗封装芯片,拆到裸片约20000颗,一座万机架的数据中心芯片超4500万颗。

如果按单颗售价分档,低于10美元的约占52%,10到100美元的约占29%,100到1000美元的约占16%,高于1000美元的只有约3%。

打开网易新闻 查看精彩图片

也就是说,价值靠那3%的高价芯片撑着,而数量的绝对主体,是单价10美元以下的电源、模拟、接口、传感、MCU这类器件。它们不集中在某一处,而是散布在五类托盘的各个角落。

可以看到,在一台AI机柜中,最值钱的芯片和数量最多的芯片,根本不是同一批。

不过,这些单价不高的功率、模拟、传感芯片,虽然撑不起价值,却是系统稳定运行的必要保障,任何一类供应短缺,都可能让整机组装停滞。

而对芯片分销商来说,这批单价不高却数量庞大的芯片,恰恰才是日常生意打交道的范围。

02

能做的芯片都在哪

又有哪些趋势变化

先看芯片数量在五块托盘里怎么分。计算托盘最多,约4000颗;电源托盘约600颗;网络与IPMI托盘约100颗;加速器互连托盘约70颗;CDU托盘最少,约10颗

这几万颗芯片,绝大多数不是加速器那样的贵芯片,而是各类配套的逻辑、存储、电源、模拟、传感器件。它们散布在每一块托盘、每一个部件里。

报告将部分关键部件进行了拆解,并列出了里面到底用了哪些芯片:

计算板1–2颗AI加速器、1–2颗CPU、8–32条DIMM、50–100颗以上电压调节模块(VRM)、10颗以上控制与支持IC、1颗以上网络互连IC。

AI加速器(GPU):1–2颗逻辑芯片(ASIC)、1颗以上互连PHY、6–12个HBM(96–192颗die)、1颗共封装中介层/桥接芯片。

内存条(DIMM):8–16颗DRAM(每个DIMM)、1颗寄存时钟驱动器(RCD)、1颗电源管理芯片(PMIC)、1颗SPD EEPROM、1颗温度传感器。

NVMe固态硬盘(SSD):256颗NAND闪存(8堆×32颗die)、1颗SSD主控、1颗DRAM缓存、1颗I/O接口IC、1颗PMIC。

数据处理单元(DPU):1颗嵌入式逻辑die、1颗包处理引擎、1–2颗片上DRAM、1颗PHY接口、1颗闪存(SPI/EEPROM)、6–8颗PMIC/VRM。

高性能网卡(NIC):1颗网络控制器ASIC、1颗光收发器、4–8颗SerDes/PHY、1个DDR内存模块、1颗PCIe接口、2–4颗PMIC/VRM、1颗数字信号处理器、1颗振荡器、1–2颗时钟缓冲、1颗时钟发生器。

AI服务器计算托盘组件中典型配电单元:2–6颗中间总线转换器(IBC)、6–12颗PoL转换器、1–2颗微控制器/PMBus SoC、2–6颗PMIC、5–10颗电流电压传感器、2–4颗驱动与FET。

加速器互连托盘:2颗高速PHY、每托盘2颗交换ASIC、每颗交换ASIC配16到72条以上的SerDes收发器、1–2颗ACC芯片、4–6颗PMIC/VRM、1–2颗时钟发生器/PLL、1颗振荡器、1–2颗时钟缓冲、0-1颗时钟发生器。

服务器级电源供应单元(PSU):1颗桥式整流器、1颗PFC控制器、2–4颗功率MOSFET(GaN)、1颗PWM/谐振控制器、2–4颗栅极驱动、2–4颗同步整流FET、1颗微控制器/PMBus SoC、3–5颗电压温度传感器。

AI服务器机架BMC:1颗SoC微控制器、1颗固件闪存、1颗以太网PHY加磁性件、1–2颗PMIC、1颗看门狗定时器、1颗时钟发生器。

带外交换机:1颗交换ASIC、24颗以太网PHY、1颗管理SoC/CPU、1颗闪存、1颗DRAM、1颗PMIC。

带内交换机:1颗交换ASIC、100颗以上SerDes收发器、1颗以太网/InfiniBand PHY、72颗光收发器、1颗数字信号处理器、10颗PMIC、1颗风扇/温控MCU、1颗闪存、1颗DRAM。

CDU液冷单元:3颗流量传感器、4颗压力传感器、4颗温度传感器、1颗控制器MCU、1颗以太网/PMBus接口。

除了这份拆解,报告还提出了几个变化方向,从这些变化中,或许也能看出芯片需求之后可能发生的变化。

首先是供电。机柜供电正从当前的48V直流,往400V、乃至远期800V高压直流走。单机架功耗正逼近兆瓦级,现在最强的机架约100–120kW,而未来单机架可能需要1MW。随着这一转变,GaN、SiC这类化合物半导体在电源系统里用得越来越多,因为它们能在更高电压下工作,损耗和发热都比传统硅器件低。

再是散热。加速器单卡功耗持续攀升,报告指出仅靠风冷已经不够,液冷正成为高密度机柜的散热方案。液冷带出的是CDU单元里的器件,也就是流量、温度、压力传感器,加上控制流量泵阀的MCU和接口芯片。报告引用的预测是,2035年风冷占比降到约65%、液冷升到约30%。

03

结语

这份报告提供的,是一张AI服务器的品类结构图,用于判断某一品类在整个系统中处于什么位置、面对什么趋势。

此外,AI吃掉大量产能之后,原厂战略性减产挤出来的老料紧缺,以及工业、汽车这些领域本来和复苏的需求,这些在AI机柜本身之外的生意,也可能是中小型芯片分销商能抓住的机会。

领取AI机柜报告










打开网易新闻 查看精彩图片

点击查看往期内容

将芯世相设为“星标”,第一时间收获最新推送

求喜欢