AI内存已成为执行AI推理负载时的最大瓶颈。本周在未来内存与存储峰会（Future of Memory and Storage Summit, FMS）上，三星（Samsung）全力出击，不仅发布了一种名为zHBM的新型高带宽内存，还推出了两款面向固态硬盘（SSD）的全新NAND产品——包括被命名为zNAND的高速新型NAND，以及第十代BV-NAND技术。
随着AI热潮的重心从基础模型训练转向实际部署运行，底层基础设施的核心需求也随之改变。AI训练负载在很大程度上是计算密集型的，受益于大量高性能处理器（即GPU）并行处理海量数据。这也是AI热潮初期GPU和其他AI加速器供不应求的原因。
但AI推理负载有着不同的基础设施要求。它们通常并非计算受限，而是受限于从本地内存搬运到处理器的数据流。
大规模并行计算在AI推理的第一阶段——即预填充（prefill）阶段——确实有帮助，此时AI模型处理用户的初始提示词。但AI推理的第二阶段，也就是解码（decode）阶段，很大程度上是内存带宽受限的，因为模型必须逐个生成token。
这是因为用于生成输出token的数据存储在键值缓存（KV cache）中，理想情况下KV cache位于HBM或DRAM里（当HBM或DRAM占满时，则退而求其次放在本地SSD存储中）。模型能越快从缓存中取出正确的KV，用户就能越快看到生成的猫咪视频——或者看到某个配体如何与蛋白质特定口袋结合的预测结果，具体取决于应用场景。
整个计算机行业都意识到了这个问题，许多公司正在研究解决方案。Nvidia和存储厂商正试图通过Nvidia DMX架构构建一套替代方案，将尽可能多的智能能力注入后端存储，使KV cache调用速度达到极致。另一些公司则试图在芯片层面进行创新。三星属于后者。
这家韩国芯片巨头本周公布了其针对AI内存桎梏的多项解决方案，核心思路是更密集的三维内存封装，既包括HBM所用的DRAM，也包括SSD中使用的速度较慢的NAND。
zHBM
全新的zHBM产品采用了一种创新的内存架构——将HBM直接垂直堆叠在AI加速器上方，而不是像当前方案那样把HBM堆栈放置在处理器旁边。三星希望以此最小化AI处理器与内存之间的数据传输距离，从而带来更高的带宽和更优的能效比。
具体而言，三星表示zHBM相比HBM5将实现4倍至8倍的性能提升。根据韩国科学技术院（Korea Advanced Institute of Science and Technology, KAIST）的图表，HBM5目前正在研发中，计划于2029年交付，内存带宽为每秒4TB。这意味着zHBM每个堆栈的内存带宽将达到16 TBps至32 TBps。
三星称，zHBM的能效比相比HBM5也将提升3倍，热阻改善50%。根据KAIST数据，HBM5每个HBM堆栈功耗预计为100瓦。
zHBM将采用三星正在研发的新型混合铜键合（hybrid copper bonding, HCB）技术，该公司表示这将使zHBM的内存密度达到HBM5的10倍。目前尚不清楚10倍的密度提升是否也意味着10倍的容量提升（或略低一些），因为芯片顶部的可用面积是有限的。
无论如何，将芯片顶部的zHBM与芯片侧边的HBM混合使用的新架构，或许能为KV cache难题带来更多内存供给。
zNAND-O
三星还将3D封装技术应用于其全新的zNAND-O技术中，通过硅通孔（through-silicon via, TSV）将多颗V-NAND芯片堆叠在一起，实现密度极高、速度极快的存储方案。
三星没有采用传统的外部互连（数据在NAND边缘传输），而是提出通过TSV将数据通路置于芯片中央。TSV是在硅衬底上刻蚀的微小孔洞，内部填充铜等导电材料。
三星表示，zNAND-O将提供非常适合AI推理负载的存储特性，包括极低的延迟（小于3微秒）、200 GBps至400 GBps的带宽，而通过3D堆叠可进一步提升至1 TBps甚至更高。
zNAND-O可用于智能手机等设备，在无网络连接时提升AI模型的运行性能。
V10 BV-NAND
三星还将3D封装应用于其第十代BV-NAND技术。V10版本现在可封装多达400层存储单元，而V9版本支持200层。据三星称，这意味着NAND本身的比特密度提升了58%。数据写入速度提升了45%，I/O速度提升了33%。三星表示，一种新的键合技术使之成为可能。
总体而言，这将使SSD在相同空间内存储更多数据。
三星表示，本次大会上发布的三项HBM和NAND公告有一个共同焦点：采用三维"z轴"策略，缩短内存与处理器之间的距离，在有限的占地面积内最小化数据搬运，同时最大化存储容量与性能。
三星两位高管——闪存产品与技术执行副总裁Jinyeop Lee和DRAM产品与技术副总裁Kyungryun Kim——在FMS上以"引领AI革命浪潮：内存与存储架构的3D创新"为题发表主题演讲，介绍了这些技术进展。
热门跟贴