FADU希望把CPU从AI存储流程中移除,做法是将文件系统直接嵌入SSD内部,不过相关验证要等到2027年才能揭晓
FADU的File-Semantic SSD在固件层面完成路径查找、权限检查以及文件到闪存的映射工作,而不再依赖主机完成这些任务
NFSv3请求被封装在标准NVMe命令中传输,因此GPU、DPU和远程客户端都可以直接访问文件,无需依赖主机文件系统
其公布的46万次操作/秒的核心测试结果,是在PCIe 5.0主机环境下取得的,而PCIe 6.0的测试结果要到2027年第一季度才会公布
韩国控制器设计公司FADU展示了一款能够“理解文件”而非仅仅处理数据块的SSD产品,该公司认为,AI存储领域下一个瓶颈并非原始带宽,而是用于定位数据位置所消耗的CPU时间。
这款名为File-Semantic SSD(FS-SSD)的产品在OCP全球峰会上亮相,它将文件查找、访问权限检查以及文件到地址的转换工作,全部转移到FADU第六代控制器的固件当中完成。
FADU在其白皮书中承诺,GPU、DPU以及网卡都能够直接访问文件,做到“无需主机文件系统、无需块存储层、存储服务器CPU全程不参与”。不过,面向合作伙伴的样品预计要到2027年第三季度才能交付。
并非首个尝试解决“CPU难题”的方案
FADU在数据中心闪存领域并非新面孔。其第五代控制器已应用于SN861产品,该产品最初由西部数据推出,目前由SanDisk负责销售;去年,该公司曾表示已与四大超大规模数据中心运营商中的两家签署了控制器供应协议,此前不久该公司还公布了面向PCIe 6.0的Sierra控制器。
不过,FADU此次提出的思路并非完全原创,类似的认知其实也来自另一方——英伟达。英伟达一直在PCIe总线的另一端尝试解决同样的问题。GPUDirect Storage技术早在多年前就已经将CPU从数据传输路径中移除,让存储设备可以直接将数据写入GPU显存,但具体获取哪些数据以及发出每一次请求的决策,仍然由主机软件完成。
英伟达开源cuFile并将控制路径转移到GPU端的决定,带来了加速器侧的额外开销,而FADU则是从硬盘这一端来解决同样的问题。
FADU表示,根据其自身测试数据,在GPUDirect Storage随机读取工作负载中,主机文件系统与块存储层大约消耗了30%的CPU周期,不过这一厂商提供的数据尚未经过独立验证和复现。该公司还指出,现有的绕过方案虽然将CPU移出了数据路径,但也因此完全放弃了对文件层面的支持。
这项技术是如何运作的?
FADU并没有为自家硬盘发明全新的协议语言,而是沿用了一套成熟已久的方案。NFS(即网络文件系统)多年来一直用于让计算机打开存储在其他机器上的文件。FS-SSD将按文件名查找、读取文件部分内容等NFS请求,封装进SSD本就使用的标准NVMe命令当中。
这些命令既可以来自同一台服务器内部,也可以通过一种名为NVMe over Fabrics(NVMe-oF)的网络化NVMe技术,来自数据中心内的其他机器。FADU之所以选择NFS第三版,原因有三:其体积小,仅包含21种操作;能够兼容任何操作系统;并且是无状态的,即每个请求都携带硬盘回应所需的全部信息,这样硬盘就无需记录哪些文件正被哪些客户端打开。
FADU还将原本分离的两次查找过程合并为一次。在常规系统中,计算机的文件系统首先要确定文件的各个部分分别保存在哪些编号的数据块中,随后SSD内部名为闪存转换层的软件,再确定这些数据块在闪存芯片上的具体物理位置。
FS-SSD则通过基于F2FS(一种专为闪存设计的Linux文件系统)的单一文件层来同时完成这两项工作,其数据布局与闪存芯片的物理组织方式相匹配。由此形成的单一映射表,能够直接将文件指向其存储位置,而且这张映射表体积要小得多。一块典型SSD通常每1TB闪存配备约1GB的DRAM,并几乎将这些DRAM全部用于存储块映射表。FS-SSD使用相同容量的DRAM,但FADU表示其中约95%被用于缓存常用文件的相关信息。
这种布局方式也简化了清理工作。闪存无法原地覆写旧数据,因此硬盘需要定期将仍需保留的数据迁移到其他位置,并整块擦除闲置区域,这一过程被称为垃圾回收。
当F2FS运行在普通计算机上时,文件系统与SSD会各自独立执行一套垃圾回收流程,二者的工作量最终会相互叠加放大。而FS-SSD只需执行一套流程,FADU表示,与运行在普通主机上的F2FS相比,这种方式能将写放大降低63%。写放大越低,意味着闪存磨损越小,不过这一63%的数据来自NVMeVirt(首尔国立大学开发的一款模拟SSD行为的软件)的仿真测试,而非真实硬盘的实测结果。
在FADU自身的初步测试中,当服务器核心数从16个减少到1个时,远程文件吞吐量仍能维持在约46万次操作/秒,而标准Linux NFS服务器的吞吐量则从约15万次操作/秒降至4万次操作/秒。
不过,该测试也存在一定局限性。FADU这款第六代硬盘是安装在PCIe 5.0主机上进行测试的,因此所有顺序读取结果的上限都接近14.1GB/s,这大致是PCIe 5.0链路的带宽极限,而目前已有的第六代硬盘,例如美光的9650,读取速度可达28GB/s,且已实现量产。
测试中客户端与服务器均采用英特尔酷睿i5-13600K桌面级处理器,搭配128GB DDR5内存以及100Gb ConnectX-6网卡。该处理器拥有14个物理核心和20个线程,因此FADU的测试结果很可能统计的是线程数,而非物理核心数。
“全球首款文件级语义SSD”并非全新概念
FADU将FS-SSD称为全球首款文件语义SSD,这或许确实是此类产品的首次硬件实现,但相关理念其实并不新鲜。2018年发表的DevFS研究论文就曾描述过一种“完全嵌入存储设备内部”的直接访问文件系统,不过作者当时仅通过模拟方式进行了原型测试。
NVM Express已经将一套按键值而非数据块地址寻址的键值命令集标准化,SK海力士也与洛斯阿拉莫斯国家实验室合作开发了一款键值计算存储硬盘。与已有标准支撑的键值命令集不同,FS-SSD目前尚无相应标准背书。FADU尚未向NVM Express或OCP存储组织提交文件语义命令集提案,因此目前每个客户端都必须依赖FADU自家的软件。
FADU的长期目标,是打造一种闪存扩展柜方案:机柜前端仅包含一个PCIe交换芯片,以及一块负责硬件级NVMe-oF处理的DPU(具备自身处理器的网卡)或网卡,相关参考设计基于Xsight Labs的800G E1 DPU打造,预计将于2027年底推出。
根据FADU的模型估算,与传统存储服务器相比,这种方案在16块硬盘规模的系统中能够降低约42%的功耗,并降低57%的单位成本,不过这些仍属于预测数据,而非实测结果。目前市场上已有以DPU为前端的闪存扩展方案,例如超微基于BlueField打造的JBOF产品,但这类方案仍然依赖DPU中的Arm核心来运行存储软件,而FADU的目标则是让硬盘本身直接承担文件服务功能。
据《先锋商报》报道,FADU首席执行官南渊(Nam Yi-hyun,音译)表示,公司将以FS-SSD为“跳板,成为AI存储解决方案领域的领先企业”。FADU所瞄准的瓶颈问题确实真实存在,而选择基于NFSv3进行开发、而非另起炉灶发明新协议,也为其提供了一个可信的起点。
不过就目前而言,支撑这一方案的证据仅限于基于PCIe 5.0的测试平台、一项仿真得出的写放大数据,以及模型预测的成本节省数据,与OEM和ODM厂商的合作洽谈也仍处于早期阶段。FADU预计于2027年第一季度公布的第六代主机测试结果,将是检验这款硬盘能否以全速完成CPU核心工作的首个真实信号。
关注TechRadar的Google News账号,并将我们设为首选信息源,第一时间获取我们的专业资讯、评测与观点。
热门跟贴