美光在探索开发高耐久性NAND闪存模块的方案，这些模块将更靠近GPU，而不是像传统NAND闪存那样位于存储池深处，需要经过多种协议的传输。该架构旨在打破传统存储层级壁垒，将NAND闪存从远端存储池迁移至紧邻GPU的位置，以填补HBM/DRAM与常规系统存储之间的性能空白。

打开网易新闻 查看精彩图片

根据Digitimes的报道，与传统追求高密度TLC或QLC颗粒不同，美光追寻的新NAND更侧重于提升I/O速度、带宽及读取延迟表现。其设计目标是在GPU封装或PCB上直接集成数百GB级的高速缓存层，作为显存与系统存储间的超快缓冲带。这对大语言模型推理尤为关键：当模型参数超出显存容量时，该层级可有效缓解内存带宽瓶颈，使系统在减少GPU数量的前提下，通过增加存储层级来支撑更大规模的推理任务。更重要的是，相比昂贵的HBM或DRAM，这种定制化NAND成本显著更低，且容量可按需灵活配置。

实际上SK海力士与SanDisk已率先推动HBF，试图以更耐用的NAND扩展GPU的HBM寻址空间。然而，所有厂商仍面临共同挑战：如何在保持NAND成本优势的同时，大幅缩小其与HBM在带宽和耐久性上的差距，这样才能使之真正成为HBM的有效补充，而非仅是概念验证。

随着AI算力需求持续飙升，存储架构的创新正成为继制程微缩之后的新竞争焦点。若这种近GPU NAND得以量产落地，不仅将重塑AI服务器的硬件设计范式，更有望大幅降低大模型部署门槛，推动生成式AI向更广泛场景渗透。目前，该技术仍处于早期探索阶段，但其潜在影响已引发产业链高度关注。