SanDisk(闪迪)本周举行了投资者日演讲,但随后部分演讲幻灯片因涉嫌数据不准确和关键信息遗漏,被指忽悠投资者,在社交媒体上引发科技圈用户的强烈质疑和反弹。

打开网易新闻 查看精彩图片

问题所在:HBM数据被压低,HBF写入寿命只字未提

一个AI模型基本由一系列Transformer模块组成,核心包含两个关键部件:注意力层(Attention Layer)负责分析句子中词与词之间的关联,并以KV缓存的形式保存这些关联信息,上下文越长,KV缓存占用就越大;前馈网络(FFN)则以权重的形式承载模型的全部知识,通过复杂的数学运算挖掘每个词背后的含义。

目前模型权重和KV缓存都存放在HBM中,但HBM芯片直接焊装在GPU旁边,容量有限,若要扩容通常只能增加GPU数量,成本会迅速攀升。

高带宽闪存(HBF)是可能的解决方案之一,SanDisk正与SK海力士合作开发HBF标准,计划提供512GB容量、带宽在0.4TB/s到3TB/s之间,目标是在2028/2029年实现商业化落地。原理上,HBF和HBM堆叠DRAM的方式类似,只是改为堆叠NAND闪存颗粒,通过硅通孔(TSV)连接各层芯片,并绑定一颗逻辑控制裸片。

但NAND颗粒最大的问题是速度慢:SRAM读取速度约为1纳秒,DRAM约100纳秒,而NAND高达约100微秒,也就是说NAND的读取速度比基于DRAM的HBM慢了大约1000倍。不过HBF依靠并行化弥补了这一劣势——逻辑裸片可以同时调度数千次NAND颗粒的并行读取,单次读取虽慢1000倍,但成千上万次并行叠加起来,仍能实现0.3TB/s到3TB/s的总带宽。

即便如此,HBF依然无法克服NAND本身写入速度差、写入寿命脆弱的固有缺陷。

争议焦点:比较对象过时,量化方式也不合理

文章指出,SanDisk这次演讲在数据准确性和呈现规范上存在明显问题。由于HBF要到2028/2029年才会正式量产,SanDisk本应拿届时将成为主流方案的16层堆叠HBM4E来做对比,而这一代HBM带宽可达32TB/s,是SanDisk所采用的12.8TB/s对比数据的约3倍——明显选用了过时、被低估的HBM带宽数字。

此外,SanDisk在展示中采用了BF16作为量化标准进行对比,但目前主流模型基本都用fp8或fp4进行部署,用BF16做基准会显著夸大HBF方案在容量需求上的优势。

社交媒体上也有用户对此提出类似质疑,指出SanDisk似乎刻意将HBM和HBF的带宽都压低到统一的1.6TB/s左右,同时选用早已过时的BF16量化标准,而非当前主流的fp8/fp4。

更严重的是,SanDisk在对比HBF与HBM方案的GPU时,完全没有提及HBF的写入寿命问题——NAND固有的写入次数上限通常在10万次左右,而HBM理论上写入次数没有上限。文章认为这是一个相当严重的遗漏,因为写入寿命不足很可能导致HBF根本不适合用来存放需要频繁读写的KV缓存。

结语

文章认为,尽管SanDisk或许能对上述这些疏漏和取舍给出"合理"解释,但整体呈现出的画面,多少显得有些"心虚"和刻意营造叙事的意味。

Cadence 中国用户大会 报名

打开网易新闻 查看精彩图片