文 / 中国邮政储蓄银行运营数据中心副总经理张志鹏
中国邮政储蓄银行运营数据中心袁佳 刘畅
中国邮政储蓄银行（以下简称邮储银行）作为全面信创化的坚定践行者，严格落实习近平总书记“加强基础研究，实现高水平科技自立自强”的要求，将数字化转型与信创化落地进行有机融合，不断夯实企业级基础平台能力建设，持续提升科技赋能水平，推进金融信息化核心技术的自主可控能力。邮储银行运营数据中心超前布局，从资源供给型向服务导向的全栈信创云化数据中心持续演进，重构数据中心建设及管理方式，发布“标准云”技术规范，通过基础设施全栈信创化、多元算力池化、云服务标准化、运营管理统一及敏捷化，应对日新月异的数字化变革需求，支撑全行应用架构加速向分布式、微服务导向的敏捷IT转型（如图1所示）。
邮储银行将标准化的基因贯穿全栈信创云“建-上-用-管”的全生命周期中，以模块化的组装工艺，对组成云平台的每个基础资源池（Region，以下称云模块）进行标准定义，采用相同的技术架构，提供标准化云服务，强化容错能力，统一对接邮储银行全行级多云管理平台，屏蔽云平台构建过程底层组合的复杂度和差异性，提供了一致的、可预期的云运营服务能力。
通过“标准化，模块化”的建设模式保障云平台的持续交付、持续演进，提升交付质量和效率，满足邮储银行数字化转型过程中从云化到云原生化的渐进，为业务部门提供高性能、高可靠、多功能、可进化的基础云服务，保障生产系统稳定平滑过渡。邮储银行的“全栈信创标准云”成功奠定了行内信创建设和数字化转型的基础，目前建设了生产云、开发测试云、分行云托管三大业务领域云平台，覆盖了“北京-廊坊-合肥”三地五中心，有效地支持了包括新一代个人业务核心系统、公司业务核心系统、手机银行等重要系统上线并稳定运行，支持同城双活、两地三中心、单元化部署等多种部署形态，以高水平的信创标准云赋能业务的全场景创新升级。
在邮储银行信创标准云设计2020版里，采用虚拟机+iSCSI+企业存储的组合模式，这种方式符合信创导向，但是在IO延时、稳定性等方面与传统光纤交换网络存在差距，难以匹配关键系统需求，成为核心应用上云的主要障碍。所以在信创建设初期，重要应用部分采用了存算一体的本地盘模式，但这种做法显然在资源共享、弹性、利用率上均不符合行内既定云化路线。针对这一问题，自2020年起，邮储银行运营数据中心联合华为技术有限公司针对NVMe over Fabric（以下简称NoF+）技术进行了长期的联合创新，随着相关技术日趋成熟且完成了云服务化封装，邮储银行对标准云2023版进行了重新设计，采用NoF+技术构建高性能标准云模块，采用存算分离架构为重要应用提供虚拟机、容器等基础云服务。并于2023年11月，完成廊坊、合肥两个区域的NoF+云模块上线，共计近千节点的大规模建设，满足投行业务、特色业务等重要应用的成功投产，2024年将扩大应用范围，支持更多的业务系统投产交付。
NoF+技术介绍
NoF（NVMe over Fabric）是NVMexpress Group制定的标准，旨在服务器和存储层间构建满足NVMe数据传输的网络服务，以更好地实现存算分离架构，NoF是个非常宽泛的标准，支持几乎所有主流网络传输方式，包括FC、IB、iWARP、RoCE（RMDA over Converged ethernet）等。
而NoF+是华为基于NoF的增强部署解决方案，采用了基于RDMA的融合网络（RoCE）方式，同时在协议和功能上进行了扩展，使之具备云化生产部署能力，如图2所示。
存储层NoF enable软件包：优化了NVMe驱动，通过补充协议实现存储设备的即插即用和链路故障侦测及通知功能，是实现路径故障秒级切换的关键技术。
网络层：引入人工智能技术，实现AI-ECN替代传统静态ECN方式，再实现不丢包的无损网络。
云平台层: 实现各层技术的驱动及组合，解决租户隔离、设备鉴权等安全问题。
云服务层：实现全量的裸机、虚拟机、容器服务能力，应用可无差别迁移至NoF+云模块。针对虚拟机、容器服务开发了SPDK驱动，采用全用户态IO栈以更好发挥NVM多队列、低延时的优势，通过用户态IO栈的轮询模式、无锁队列、共享内存等技术，大幅降低IO时延和提升IOPS吞吐。
NoF+技术的典型使用场景包括：数据库、有状态容器等，具备可媲美光纤交换的高性能IO特性，和秒级故障切换手段，满足关键应用存算分离部署要求，可持续云化演进。
NoF+云化部署效果验证
随着信创工作的全面开展和行内数字化转型的深入，分布式架构成为行内的主流技术栈。当前行内主要应用架构如图3所示，其中应用层已实现容器导向的微服务架构及治理体系，能够将大型业务拆分为若干业务服务或单元化部署，后台数据库通常采用开源或国产数据库通过虚拟化部署，通过一主多从的方式保障数据安全，同时通过数据库层日志复制到远端完成容灾集群的构建。
NoF+部署后，通过虚拟化、容器化方式承载数据库、缓存、消息、日志等有状态应用，通过数据副本跨AZ（对应的是独立的存储设备域）部署方式实现本地及同城级高可靠，基于日志的数据库流式容灾实现异地数据容灾。针对行内普遍使用的一主两备(一同步一异步)生产数据库虚拟化部署情况，我们做了iSCSI vs NoF+环境的功能及性能对比验证，采用sysbench进行模拟验证，数据库选用华为高斯数据库，每个实例建立100张表导入100万行数据，不同组合的TPS、QPS、平均延时如图4所示。
● 单节点性能：NoF+较iSCSI模式提升30%（包括TPS/QPS/延时）。
● 主要生产部署场景（一主两备）：NoF+较iSCSI提升160%，较单节点部署损耗不到10%。
● 模拟故障场景：数据库交易均能提交成功，没有出现失败情况。
从验证结果看，数据库一主两备模式的性能提升较单库场景更显著，原因是前者需要多数库的写入，对IO的写入性能及稳定性要求更高。
对于单节点数据库，数据库的延时为T1+T2，得益于NoF+的延时降低及并发度的提升，较传统iSCSI模式，TPS/QPS/延时均提升30%。而对于生产部署的数据库，以一主两备（最少一个同步库）模式为例，此时，数据库的延时为T1+T2+T3+T5；延时受两次数据写入及网络传输影响，收益率得到进一步提升，对比iSCSI模式性能提升160%。典型金融交易在分布式架构下均涉及多数派数据库副本写入，故NoF+对IO的优化在整体性能提升上有放大效益。
NoF+在邮储银行云平台的大规模实践
邮储银行NoF+的云化部署实践沿用标准云的设计，建设了廊坊、合肥两地两个云模块，以满足重要系统异地容灾的需求。每个云模块均支持24个AZ，每个AZ均有3对网络TOR分别对应管理、业务和独立的NoF+网络。由统一的云管平台进行云服务管理，在每个AZ中对相应的网络、驱动和服务做了优化，如图6所示。
服务层：从功能上支持裸金属、虚拟机、容器服务，本次建设为应用提供虚拟机、容器实例自动、批量发放、挂载NoF+云硬盘、在线扩容等30+服务。同时上线NVMe-persist技术，取代scsi-3锁，实现虚拟机HA集群场景防脑裂双写，实现了传统HA应用无改造切换到NoF+技术栈。
资源层：云平台各组件负责IAAS层资源发放。以虚拟机发放场景为例，Neutron负责向NoF+存储网络的Leaf发放主机安全配置；VM挂载云硬盘场景，Cinder负责向NoF存储网络的Spine下发softzone配置。
驱动层：Neutron组件调用交换机driver驱动层实现向NoF存储网络的Leaf下发配置。虚拟机内置的SPDK驱动实现对存储的访问及多路径优化，不同于传统驱动内核态协议栈，SPDK采用用户态避免内核到网卡之间多次内存拷贝，结合RDMA的优势将IO访问延时由ms级降低到100us。同时支持虚拟磁盘多队列，每个队列可以分配到独立的处理核进行处理，大幅提升了IOPS处理能力。
设备层：存储采用企业级全闪存储Dorado保障低延时，利用A-A的存储前端口能力、网络iNOF、NVMe驱动组合实现了秒级的链路故障切换和存储设备的即插即用。NoF+网络采用基于国产芯片的华为CE交换机，通过AI-ECN和PFC实现零丢包的无损网络。组网设计采用A-B双平面设计保障高可靠，考虑到Region规模需要扩展到1000节点，采用了两级组网方式确保扩展性。
实际部署效果上看，基于NoF+的云服务相对传统光纤交换模式性能有所提升，特别是多LUN并行场景，IOPS及带宽提升显著。在可靠性上，实现了对标光纤交换体系的秒级故障切换，安全上通过ACL控制、ARP防欺骗等技术手段支持多租户安全隔离。
总结
随着信息创新技术的不断进步以及数字化转型进入深水区，邮储银行运营数据中心不断优化软硬件基础设施，加速新兴自主可控技术的引入及云服务化部署，实现兼顾弹性、效率、稳定性的“新敏态”支撑平台，为关键应用的分布式改造及全量云化部署提供保障。NVMe over Fabric(NoF)作为一种新型的存算分离技术，具备低延时和高吞吐能力，成为有状态应用云化部署的关键创新技术。邮储银行运营数据中心依据行内分布式应用特点，通过联合创新和工程实践，依托全链条自主可控技术解决了NoF+生产部署时一系列问题并在业内率先大规模云化部署。
在技术上通过RDMA将IO访问延时降低到毫秒级，通过NVMe驱动实现并行数据访问，充分发挥了全闪存储的能力，无损网络技术实现了稳定的IO吞吐；同时通过协议的增强，实现了设备自动发现、秒级故障切换等一系列能力的增强。
在云服务层面完成了相关技术的整合，实现了裸金属、虚拟机、容器场景的服务化封装，使得NoF+变成易于部署和使用的云服务组成，匹配不同类型应用的部署需求。通过设备鉴权、安全隔离等一系列手段实现租户间的安全隔离。
在工程实践中采用标准化的设计保障大规模部署，通过AZ有效隔离存储域匹配分布式架构下多副本的数据安全。采用数据库虚拟化、有状态应用容器化的方式替代了过去重要应用裸金属本地盘模式，在保障性能、高可靠性的同时构筑了可持续云化演进的创新存算分离架构，提升了资源利用率和应用弹性扩展能力。
邮储银行运营数据中心基于全链条自主可控NoF+技术的大规模云化部署实践，解决了信息创新难点问题，加速了关键应用全量上云的步伐，匹配了分布式应用部署的特征，相关实践为金融行业云技术演进提供了参考。
热门跟贴