作为全球领先的存储解决方案供应商，戴尔提供了丰富的存储产品线，包括PowerStore（全闪存，面向关键业务负载）、PowerScale（横向扩展文件存储，专为非结构化数据设计）、PowerFlex（软件定义的基础架构平台，适用混合/灵活负载）等。它们有着不同的特点，适应不同类型用户和应用场景的需求。
这一次我们要体验的是戴尔存储产品线中的一款明星产品： PowerFlex。
戴尔 PowerFlex 是一套 软件 定义的基础架构，优势在于可扩展性、性能和弹性， 融合计算与块存储资源，支持多种工作负载与部署模式，适用于高性能、可扩展的关键任务环境，尤其高度适配超融合替换场景 。用户可以在 PowerFlex 软件定义的存储块之上构建标准化的技术架构，并且可以运行各种虚拟化软件，包括 VMware vSphere 、 Hyper-V 、 KVM 等等。开放、灵活的特性避免了供应商锁定的风险 ——在过去一年当中， 业内某头部供应商商业策略大调整 可是 企业 IT 设施 的一大痛点啊，懂的都懂。
PowerFlex支持裸机到虚拟化、容器化的基础设施， 非常适合在私有云环境中使用，让用户享受简化、敏捷、可扩展的技术优势。通过高效率的资源整合，目前在大数据、AI热潮背景下备受推崇的数据湖、数据库整合等也更易于实现，有利于传统IT基础设施向更为现代化的智算中心演进。
PowerFlex有很高的灵活性 ，可以部署为纯存储节点或纯计算节点，也可以将二者合并为超融合HCI节点。当然，在决定某台服务器被部署为什么类型节点前，应当根据任务目标对硬件配置进行取舍，纯存储节点就没有必要配置太多的内存，而纯计算节点就不必配置容量盘。PowerFlex还可以在公有云上部署软件，将云上的附加存储用作软件定义的存储层。构建PowerFlex集群需要至少 3 个超融合节点。通过添加节点，可以近乎线性地提升容量和性能，以横向扩展基础设施，并始终保持99.9999%可用性。 在PowerFlex 4.6中，单个集群的容量上限是16PB。
PowerFlex支持两种数据块协议： 基于TCP的专有协议 用于在 Storage Data Servers (SDS) 和 Storage Data Clients (SDC) 之间 传输；NVMe/TCP 由 Storage Data Target (SDT) 服务提供 。
实地配置
这一次我们在戴尔的帮助下，在 办公室的机柜中 部署了一套基本的PowerFlex集群 。
整套集群使用独立的存储节点、计算节点， 包括：
4台戴尔Power Flex R660 作为存储节点 ：
CPU ： Intel Xeon Gold 6 42 6 Y （16核） × 2；
内存： DDR5 4800MT/s 16 GB × 16；
系统盘： Dell NVMe PE8010 RI M.2 960GB （BOSS-N1） × 2；
容量 盘 ： Dell CM7 1.6TB NVMe SSD × 5 ；
业务网络： Broadcom双端口25GbE网卡 × 2；
2台 戴尔 Power Edge R760用作计算节点 ：
CPU： Intel Xeon Platinum 8462Y+ （32核） × 2；
内存： DDR5 4800MT/s 64GB × 2；
系统盘： 960GB SATA × 2；
2台戴尔PowerSwitch S5224F-ON作为核心交换机：
25GbE SFP28 × 24；
100GbE QFSP28 × 4；
计算节点 戴尔 Power Edge R760 在 我们 过往的测试 《 中 曾有较为详细的 介绍，我们重点看一下 Power Flex R660 。
R660 的基础架构是1U通用 机型 ，前窗可以配置8或10个2.5英寸驱动器。这台样机前窗高速背板的5个MCIO x8端口全都连接，理论上可以 支持 10个NVMe U.2 SSD。
这一代平台有充足的PCIe扩展能力，如果需要在 R660 中提供更高的SSD部署密度，还可以选配E3.S支持，配置 数量达到 14或16个。
每个节点配置了16条16GB内存 ，实现 全通道 1DP的配置 ，保证内存带宽最大化，不 会成为性能瓶颈。 此时 系统总容量 为 256GB —— 前面说过，纯存储节点并不需要太高的内存容量。
样机配备了 1+1 冗余 的1100W钛金电源， 即使 在使用 高主频 处理器的情况下， 也 有充足的容量支持SSD、网卡等的满配。
集群的大动脉是网络。 存储节点的两块双端口25GbE网卡分别直连两颗CPU的PCIe通道，每块网卡的两个端口分别与两台核心交换机相连。
计算节点100GbE网卡的两个端口也是分别与两台核心交换机相连。这里需要强调的是，E810-C的x16 PCIe 4.0接口带宽理论上是充足的，但该网卡的 以太网 单向带宽只有100Gb/s，不论 是连接1个还是2个100GbE端口均如此。因此计算节点的网络带宽上限是100Gb/s 。
存储节点中的容量盘CM7在系统中显示容量为1490.42GB， 整个集群在PowerFlex Manager中显示的总容量为10.9TB。
基准测试
我们先用FIO探一探这套配置的性能上限。
单计算节点情况下，顺序读峰值可以达到12GB/s，基本上就是计算节点所用的E810 -C 网卡的单向带宽（100Gb/s）上限了。顺序写方面，单节点可以达到11.3GB/s，也很接近网络带宽上限。
两个计算节点 分别运行FIO， 每个节点的顺序读也可以稳定在11GB/s以上，总和约23GB/s，也是近乎于跑满网络。 每个 节点的顺序写降到约8GB/s，总和15.7GB/s。
4台存储节点总共提供了20块NVMe SSD和400G网络带宽，承担两个计算节点的并发请求还是蛮轻松的。
在256队列深度的 随机读写测试中，两个计算节点的4KB读总和超过110万IOPS ， 随机读平均 时延 432微秒 。8KB随机读的IOPS也可以达到4KB的80%水平，8KB随机写甚至可以达到4KB写的 95%，这个表现对于喜欢用8KB数据块的数据库类应用是好消息。
随机写的IOPS大概可以达到随机读的60%水平，这种表现与绝大多数SSD本地盘截然不同。相对较高的随机写水平在混合负载下不会“拖后腿”。
7:3混合 随机 读写 方面，两个计算节点的读、写操作的总和将近 100万 IOPS，与纯随机读的IOPS相差不多。 此时 混合读 的平均时延为 480微秒 。
在分布式全闪集群中，NAND介质原本较大的读、写操作时间差距被网络延迟淡化了。 从平均时延数据角度看， 这个集群中的 主机发出指令的时延约6微秒，执行时延数百 微 秒，高于本地SSD一个数量级。
从尾时延的角度看，这一套PowerFlex 集群 的表现 给人留下了深刻的印象 ： 256队列深 度 的P99 读 时延只有1.3毫秒，P99.99 读 时延也仅为2毫秒——相比很多本地盘的表现也是毫不逊色。 这一方面是由于前面提到的网络环境写操作延迟不突出，另一方面也得益于负载被分散在多节点多盘。 对于目前我们4个存储节点的集群而言，较大规模的队列深度，如256的压力之下，可以提供很好的QoS预期。
简而言之，4个存储节点面对 一两百 个并发操作 没有什么 压力 可言 。
数据库
在模拟数据库负载中，我们用VDBench做块接口性能测试，使用8KB块。两个计算节点100%读测试可以达到65.4万IOPS ； 读写比例7:3 的测试结果 为53万IOPS。 值得一提的是，VDBench的IO指令下发并没有FIO那么均匀，测试成绩上限会相对低一些，而且日志数据看起来很散。
了解这个项目的上限之后 ，我们分别以20万、30万、40万IOPS为目标做固定压力的测试，可以看到IOPS波动很小。 40万IOPS相当于满载水平的75%，用通俗的话说就是出八成的力，就能游刃有余了。
进一步看平均响应时间，会发现40万IOPS时的平均读响应时间不到0.3毫秒，说明这套集群在可预期的负载下可以提供高质量的服务。
智能训练
智能应用 业务 方面，我们在MLPerf Storage 中 选用ResNet50代表 小 文件样本 的训练， Resnet50 样本 的 平均大小 为 114,660字节 。 每个进程模拟4块A100，挂载 2 TB容量虚拟盘。每个计算节点运行1到2个进程，对应4或8块GPU。
ResNet50是小文件、高随机、高并发的典型，在我们这个 PowerFlex 集群上的表现则很线性，4、8、16块GPU时的样本吞吐量逐步翻倍到每秒近1.5万个，GPU利用率一直在99.7%以上。
故障恢复
我们在VDBench中运行 持续10分钟、 20万IOPS的压力测试，期间断开一个存储节点的 电源 。
从log文件中可以看到，整个集群的性能出现了3秒的下跌，随后VDBench便可获得更高的IOPS弥补之前的损失，并在 性能抖动 7秒后 逐步 恢复平稳状态。
在PowerFlex Manager的控制面板也可以看到断电瞬间的抖动。在这个短暂的过程中，延迟数据从不到1毫秒突增至15毫秒左右，并很快恢复平稳。
结语
戴尔 PowerFlex 以高可扩展性和良好适应性重新定义企业基础架构，支持块存储协议灵活部署，为裸机、私有云、混合云提供统一平台。测试中，PowerFlex 集群部署简便、性能稳定，故障可快速恢复。基于容器化与资源池化设计，企业可将主要工作负载集中于单一数据中心平台，整合资源并按业务需求横向扩展。近期发布的 PowerFlex Ultra 新增可扩展高可用引擎（SAE），实现亚毫秒级延迟与 10 个 9 的数据可用性，以弹性、性能和效率支撑大规模数据处理。
期待 PowerFlex 在后续版本中延续这一技术路径，为企业数据中心提供持续可靠的演进方向。
热门跟贴