自1984年成立以来,工商银行依托商用集中式数据库高效的数据存取效率、优异的系统稳定性,构建了金融业务种类齐全、业务系统体系完备、7×24小时服务不中断的联机数据库服务体系,有效实现金融服务的降本增效和创新发展。近年来,一方面随着数字经济的发展和金融行业数字化转型的不断推进,金融服务链与各行业社会服务链交织融合,金融业务系统面临处理海量数据、超高并发等一系列挑战。另一方面,面对当前复杂的世界局势与国际环境,党中央作出了加快实现高水平科技自立自强等重大战略部署。在分布式数据库技术尚处于快速发展的阶段,构建面向金融科技未来发展、技术多元的数据库技术体系面临诸多挑战。

工商银行认真落实党中央决策部署,根据人民银行《“十四五”时期金融科技发展规划》积极开展相关工作,主动担当作为,依托同业领先的金融科技力量,构建“产、学、研、用”联合创新机制,通过“银行金融级联机数据库转型建设项目”,构建形成全链路、全场景支撑的企业级联机数据服务体系。

打造标准化工艺,形成传统数据库平滑转型通用解决方案

打造标准化工艺,形成传统数据库平滑转型通用解决方案

数据库是金融信息系统的关键组成部分,传统集中式数据库以其较强的功能黏性、优秀的系统稳定性、良好的软硬适配能力,在金融行业的存量系统中占比较大;并且存量系统往往与特定数据库特性高度耦合,业务逻辑内嵌至数据库实现,具有历史久远、业务长期稳定、7×24小时服务不中断、关联应用较多等特点,转型替代难度大、复杂性高,无现成解决方案。

工商银行针对业界共性难题,积极探索低成本、便捷化的传统数据库转型替代新模式,实现分布式数据库产品对传统数据库各类特性的兼容替代率从70%提升至95%,形成覆盖设计、开发、测试、投产、生产运维全流程的传统数据库转型的8步标准工艺、23个标准步骤,并配套建设了每个标准化步骤对应的自动化工具、操作手册和质量门禁,形成了标准化操作和质量管控标准。数据库转型自动化迁移成功率达95%以上,人力投入成本压降90%以上,为行业提供了可借鉴、可复制的数据库转型通用解决方案,具备以下特点。

1.自动化迁移。实现数据库表、索引、存储过程、序列、视图、触发器、自定义类型等数据库对象和高级包函数、自治事务、递归调用、自连接等复杂特性的自动化迁移,自动化迁移成功率达95%以上,人工改造成本压降90%以上,突破了数据库转型的技术瓶颈和实施障碍。

2.自动化测试。研发覆盖全过程的自动化测试工具链,降低测试人力投入和测试复杂度,提升测试效率,程序测试覆盖率达100%,分支覆盖率达95%,保障数据库转型过程平稳可控。

3.灰度切流。建设异构数据库全量和增量数据双向复制工具,在双轨运行阶段,通过业务增量归档数据在异构数据库间的双向复制,实现新旧系统业务数据的准实时一致,确保故障场景下能及时回切,提升对外服务的连续性,数据同步效率可达150GB/h。

4.原位替代。开放平台数据库转型替代难度较大为业界广泛共识,同业及业界基本采取对应用系统进行分布式改造、对业务实现逻辑进行重构的方式实现转型,面临技术复杂度高、工作量大、项目周期长、实施风险高等痛点问题。工商银行打造的整体解决方案屏蔽数据库特性差异和业务逻辑,有效降低技术复杂度和转型工作量,解放了应用研发人员的生产力,让金融科技力量更加聚焦于金融业务创新和数字化转型领域。

5.普遍适用。整体解决方案及配套标准化工具、标准化流程和全套技术资产,以解决工商银行实际应用转型需求为目标,兼顾金融同业共同面临的痛点难点问题,具有普遍适用性。

实现关键性技术突破,打造金融级分布式数据库技术体系

实现关键性技术突破,打造金融级分布式数据库技术体系

依托自身科技力量在数据库领域的丰富实践经验,以及在数据库技术深化应用方面的自主研发能力,工商银行联合合作伙伴深入开展技术攻关,面向高频交易、复杂计算、海量存储等五类金融业务典型场景,按照存算分离设计思路,合作打造金融级分布式数据库技术能力,支撑全金融业务场景7×24小时连续服务,为行业广泛应用提供了坚实的技术基础。

1.存储高可靠。基于全闪存集中存储实现计算与存储分离,软硬协同,具备PB级海量数据存储能力和99.999以上的可靠性。

2.系统高可用。同城间通过磁盘级复制实现增量日志强同步,异地园区间通过异步方式实现增量日志同步,形成多中心多活的部署方案,园区内故障场景RPO=0、RTO<60秒,同城园区级故障场景RPO=0、RTO<180秒,同城双园区故障场景切换到异地园区RPO<60秒、RTO<600秒。

3.集群高性能。同城主备集群间采用磁盘级复制实现增量日志强同步,日志同步效率提升一倍以上,降低了主备同步对主集群性能的影响,具备百万级QPS能力。

4.服务连续性。多集群部署方案兼容不同数据库版本,不同园区的集群部署不同的数据库版本,具备业务不中断前提下主备集群数据库版本轮换升级和应用版本灰度升级能力,满足了金融核心应用7×24小时服务连续性要求。

开展规模化数据库转型,构建全金融业务场景支撑体系

开展规模化数据库转型,构建全金融业务场景支撑体系

基于标准化转型工艺和金融级数据库技术能力,工商银行已在总分行全面开展传统数据库转型实施工作,涵盖个人网银、信贷系统、贵金属等180多个金融业务系统,累计完成2000多套传统数据库转型,覆盖各类金融业务场景。在工程化推进过程中,工商银行通过数据库与IT架构体系的融合,实现端到端资源弹性伸缩的云化服务能力和数据库与应用研发全生命周期流程打通,构建形成全链路、全场景支撑的企业级联机数据服务体系,形成全金融业务场景支撑能力,高效赋能信息系统自主可控建设,以自身实践探索出一条数据库转型的可行路径。

1.标准化解决方案体系。针对不同金融业务场景的技术和业务特点,构建了涵盖部署、迁移、容灾、测试、双轨并行等方面标准化流程、步骤、工艺、质量管控标准和方案体系,形成完备的全流程技术资产,全面支持各类金融业务场景的数据库转型工程化推进要求。

2.一站式数据服务体系。依托云化服务能力,整合分布式缓存、分布式消息、负载均衡等基础服务,构建企业级数据总线,实现全行各类数据库互联互通,形成多场景融合、统一资源管理,一站式的联机数据服务体系。

3.一体化研发。对接开发平台、版本管理、流水线、配置中心、人机密码分离等系统,实现数据库与应用研发全生命周期流程打通。

4.全流程工具链。构建开发工具集、测试工具集、数据库对象迁移工具集、运维工具集、数据重分布工具集等涵盖数据库使用全过程的自动化工具链,健全数据库周边生态,降低数据库使用门槛,提升易用性。

5.智能运维。形成涵盖监控告警、容灾切换、性能容量管理、数据库治理、SQL审核、慢SQL及大事务隔离限流、自动化应急恢复、数据库安全和审计升级等方面的全流程智能运维能力,实现数据库“不死、可监控”,以及满足1/5/10标准的故障响应、定位及恢复能力。

展望未来,工商银行将坚持创新引领,加强应用创新与技术创新的循环驱动,不断提升我国金融级分布式数据库技术和生态建设水平,助力金融业实现高水平科技自立自强。

(此文刊发于《金融电子化》2024年6月上半月刊)