来源:鑫智奖·2025第六届金融机构数智化转型优秀案例评选
获奖单位:陕西长银消金
荣获奖项:基础设施优秀案例奖
一、项目背景及目标
数据库是信息系统中最重要的软件平台。当前生产信息系统数据库共计32套,其中Oracle数据库8套,MySQL数据库21套,MongoDB数据库4套,TDSQL数据库1套,以上数据库对业务系统的稳定运行起到了至关重要的作用。随着业务量的持续增长,业务系统的不断建设,数据库管理工作面临巨大的挑战。一是运维难度较高。现有多种类型数据库,每种数据库都有不同的运行原理和架构方案,当执行数据库备份、容灾、扩容等工作时,会增加运维人员管理的难度。二是交付效率较低。当业务系统所需配套数据库需要进行开发、测试、投产时,从数据库硬件资源的规划到基础环境的准备整体交付周期较长,严重的影响了重要紧急业务系统的上线时效。三是扩展能力较弱。现有生产信息系统数据库环境传统架构居多,扩展能力受限,当业务系统数据量和访问量突增时,不能及时有效对数据库进行扩展,易造成业务系统访问能力下降。
建设一套数据库云平台,对底层硬件资源实现池化管理,上层可对多种数据库统一管理、自动部署、快速扩缩容等。通过为一体化的数据库云平台系统建设,可以实现如下目标:一是,降低运维难度。采用统一的管理平台对多种数据库提供弹性伸缩、备份恢复、容灾建设等运维管理功能,同时兼具数据库高可用、高性能集群服务,降低运维人员对数据库的管理难度。二是,提高交付效率。可对多类型数据库一键快速部署及配置,提升了数据库环境交付周期,保障业务系统上线时效要求。三是提升扩展能力。改善现有数据库传统架构,提升数据库资源的扩容能力,减少因业务系统数据量和访问量突增时数据库性能下降或服务中断的情况。
二、创新点
1.基于云原生架构的数据库云平台。基于云原生理念设计,减少资源的浪费,轻松实现与不同云基础设备资源兼容,快速提供数据库RDS服务。
2.多种数据库全生命周期管理。可实现Oracle、MySQL、MongoDB、MariaDB、SQLServer、GaussDB、Redis、TiDB、PostgreSQL、ClickHouse、OceanBase、VastBase等多种数据库的创建、使用、调整、监控、回收,可以做到整个流程可控,实现IT资源的全生命周期管理。
3.弹性扩展能力。在底层计算、存储运行资源层面,无论采用任何一种IaaS平台和标准的x86/C86/ARM服务器,容器化原生的分布式特性均能快速的进行在线的弹性扩容。在数据库实例级别可快速进行数据库集群实例的扩容,当数据库读压力增大以后,可以增加读库,进行数据库读写分离,读性能可线性扩展。
4.多形态部署。基于云原生架构的数据库解决方案,是云计算中DBaaS层的产品,能够部署支持多样的部署形态,可以是物理机裸金属环境的部署,可以可以虚拟机上的部署,也支持在任意公有云或混合云的容器云平台上进行部署。
5.一云多芯架构。目前数据库云平台运行在X86架构下部署,未来随着信创的要求,C86/ARM等国产芯片服务器都将使用,可以无缝的实现一云多芯架构的支持。
6.高可用透明切换。数据库连接通过四层TCP传输,为了保证应用的透明和连续性,平台内置负责均衡组件负责VIP的高可用性,当VIP绑定的物理服务器出现异常,能够在极短时间内(秒级)重新绑定其他物理机持久对外提供访问的能力,应用无需做任何修改。
三、项目技术方案
数据库云平台RDS能兼容主流的IaaS基础设施,包括裸金属服务器、虚拟化平台以及容器化平台等IaaS基础架构,支持对多种类型数据库的全生命周期管理,包括自动化的安装部署、高可用容灾、数据库管理、日志管理、备份管理、监控告警等,提供数据库的DBaaS服务功能。
通过构建高可靠的容器化数据库云平台,提供基于基础服务平台的rds服务,支持读多种类型数据库和中间的管理、备份管理、外部实例监控、告警中心、日志中心、慢SQL明细、工作节点、存储卷、用户管理等功能。
数据库云平台关键技术架构包括:
1、容器化数据库部署。数据库实例以容器的形态运行在在各个服务器上,很好解决了分布式平台的资源调度、编排、部署、监控、配置管理、存储网络管理、安全、容器化应用支撑平台等问题,占用很少的资源,可以提供比集中式机头更高的IOPS和吞吐量。
2、数据一致性保障。数据库是有状态应用,云原生的数据库平台结合容器技术特点和各类数据库应用的特点,融入专家级的数据库管理经验,确保在容器环境下当数据库实例有各种异常情况发生时,数据一致性。
容器资源排编。提供容器自动部署、扩展和管理,满足了数据库容器化后数据库实例副本、水平自动扩展、命名与发现、负载均衡、滚动升级、资源监控等功能。
3、高可用切换。数据库RDS平台的工作节点不可用或数据库实例本身发生任何异常情况,导致实例crash后,集群将重新调度该实例资源到可用的工作节点后,通过分布式文件系统挂载原先的数据volume卷,保证实例高可用和数据的一致性。
4、读写分离。数据库RDS平台提供多种关系型数据库的主从异步复制的数据库集群,可以支持申请一主多从的数据库集群,以MySQL数据库为例,平台的MySQL主从复制集群不直接对外提供服务,应用通过访问数据库中间件,进行写请求和读请求的分发,实现应用访问读写分离功能。
5、备份恢复。平台集成了数据库的物理备份模块,提供在线物理热备份能力,通过设置集群备份策略,将数据库备份到平台对接NAS/S3存储上,保障数据的安全。
6、监控告警。平台集成云原生可视化监控告警组件,提供宿主机操作系统、数据库实例、中间件等监控展示和告警设置。
7、日志采集。平台集成日志采集组件,采集容器化数据库实例运行态的错误日志和中间件云形态的中间件日志,直观的展示不同告警级别的完整日志信息,以供运维人员进行查看,满足数据库平台日常运维需求。
四、项目过程管理
2024年1月至2024年8月,数据云平台产品交流、产品现场POC测试。
2024年9月,数据库云平台软硬件的招标工作。
2024年11月至2024年12月,项目实施前的调研,项目实施方案的编写,准备实施。
2025年2月24日至2025年2月26日,数据云管平台基础硬件的上架、连线、操作系统等基础软件的安装部署。
2025年2月27日至2025年3月5日,数据库云平台软件的安装部署、高可用测试、性能测试,进行产品培训,提交项目实施文档。
2025年3月10日至2025年4月15日,完成生产数据库迁移到数据库云平台的测试和正式割接。
2025年5月,继续进行数据库迁移到数据库云平台工作。
五、运营情况
基于云原生架构的数据库云平台底层采用多台物理服务器,采用自主可控的容器化平台技术和数据库镜像输出能力,支持二十多种数据库的全生命周期管理。当原有业务系统数据库需要迁移到新的硬件架构或需要迁移到新的类型数据库时,数据库云平台可以快速的完成新环境的准备。当新的业务系统需要新的数据库时,数据库云平台可以根据业务需求快速的提供开发、测试、生产等不同类型和版本的数据库环境。当数据库在运行中遇到资源需要进行调整时,数据库云平台可以根据业务对资源的需求,快速的调整CPU、内存、存储等资源。通过数据库云平台的建设,提高了我司数据库基础架构的支撑能力,为业务系统对数据库不同的应用场景实现了快速的响应能力,促进了我司业务快速的迭代和改进,为拓展业务提高了效率,节约了运维过程中人力的投入,为我司未来数据库基础架构选型开辟了新技术路线,为我司业务快速发展提供坚实的技术保障。
六、项目成效
1.提高数据库的运维管理能力,减少人员投入。原来数据库的建设需要数据库规划、环境准备、安装部署、备份恢复、监控告警等多个环节的操作,需要花费DBA几小时到几天的时间,现在只需要几分钟就可以准备好业务系统需要的数据库环境。
2.降低数据库基础架构的资源,节约投入成本。容器化的架构可以共用操作系统资源,能够高效的利用底层硬件资源,在资源同等的情况下可以支撑更多的数据库需求。
3.良好的在线扩缩容能力,保障资源随时响应。可以根据业务需求在线调整CPU、内存、存储资源规格,可以在线进行节点的扩容,快速响应业务的需求。
4.支持“一云多芯”的能力,为信创改造打好基础。数据库云平台支持X86/C86/ARM等CPU,支持麒麟/统信等操作系统,支持各类主流国产数据库,为信创化的改造提供了无缝扩展的能力。
数据库高可用、高安全的能力,提升业务的连续性。平台数据库支持高可用的自动切换,支持数据库的自动备份恢复,支持智能告警,提高了数据库基础架构的健壮性,为业务系统的持续运行保驾护航。
七、经验总结
在长银消费金融数据库云平台建设和推广过程中,我们深入调研,经过实际测试选择了数据库云平台产品作为新一代的数据库基础架构。在实际的使用中,我们迁移了MongoDB、ClickHouse、MySQL等不同的数据库,经过实际的运行,我们积累了丰富的经验。
1.需求驱动。根据我司实际数据库运行的痛点和挑战,在项目开始调研前,我们就明确了多种数据库统一管理、提高数据库交付效率和在线扩展的明确需求,确保产品能够满足实际业务需求。
2.技术选型。对数据库基础架构,我们深入分析和了解了物理机、虚拟机、容器云平台等不同的架构,基于云原生的数据云平台已经是市场上一种成熟的架构,能更好的适应现有的业务对数据库的需求,而且各个大厂的公有云RDS都采用了这样的架构。数据库云平台RDS能够支持对数据库的快速部署、弹性伸缩和在线扩展。
3.全生命周期的自动化运维管理。数据库基础架构的建设,涉及服务器、存储、操作系统、网络、数据库等不同的维度,产品全生命周期的自动化运维管理能够更好、更快的实现企业级的数据库架构,满足数据库建设对硬件、操作系统、监控告警、备份恢复、高可用、容灾等不同维度的要求。
4.全面了解业务。在项目推广中需要了解容器化架构跟原有架构的不同,比如需要对数据库加解密,在物理机下和在容器架构下的部署就会有区别,需要提前深入的与业务沟通,才能做好预防,前期就做好相应的变更方案。
5.渐进式迁移:在不熟悉新的平台架构情况下,优先迁移非核心业务数据库,积累经验后再推进核心系统改造。
未来长银消费金融将基于容器化数据库云平台进行更深入的应用,包括数据库读写分离、同城容灾、一云多芯等进行实际的应用和推广,为业务提供更加安全、高效的,符合国家信息安全要求的技术保障。
更多金融科技案例和金融数据智能优秀解决方案,请在数字金融创新知识服务平台-金科创新社案例库、选型库查看。
热门跟贴