文 / 金融信息化研究所 鲍思佳 庄文君 王帅强
随着金融业务与数字技术的深度融合和创新,数字金融正迈入新的发展阶段。为推进数字金融的高质量发展并有效应对数据量的迅猛增长,需建立健全现代化的数据架构,其中,数据库作为核心基础尤为重要。近年来,金融机构不断拓展我国数据库技术产品应用的广度和深度,在核心业务系统中持续取得突破,积极推动数据库架构的优化升级,加快提升自主掌控能力,为构建现代数据架构、提升数据管理能力奠定坚实基础。
金融业数据技术产品应用总体进展
集中式数据库在中小金融机构中仍占据主导地位,而分布式数据库则在大型金融机构的创新应用中发挥重要作用。城商行、农商行及农信社等中小金融机构因为成本效益、运维复杂度或技术熟悉度等因素,更倾向于继续使用集中式数据库,其实例数占比仍有80%,展现出不可替代的绝对优势。分布式数据库保持较好的增长趋势,凭借其高可用性、强并发处理和灵活弹性扩展等能力,在大型金融机构的核心业务系统中得到广泛应用。随着技术进步和金融业需求的不断变化,分布式数据库与集中式数据库将长期保持竞争和互补的关系。
非关系型数据库在金融业应用占比有所上升,但关系型数据库仍占据主导地位。关系型数据库具备强大的事务处理能力、稳定性能以及成熟技术体系,能够有效处理结构化数据并支持复杂查询,是金融业使用最广泛的数据库类型。非关系型数据库包括NoSQL数据库、键值对数据库、图数据库、向量数据库和时序数据库等多种类型,能够满足金融业对海量非结构化数据的快速处理需求,特别在国有大行和股份制银行中,非关系型数据库的实例数占比已超过20%。
OLTP数据库依然占据重要地位,而OLAP和HTAP数据库的占比则呈现出上升趋势。OLTP数据库作为处理事务性工作负载的数据库系统,广泛应用于客户交易类、业务办理等场景,在金融业数据库实例中占比最高,达到65%。OLAP数据库在决策支持和分析工作负载方面表现较好,常用于报表生成、数据分析等系统,其占比为21%。随着金融数据量的不断增长以及数据处理需求的多样化,HTAP数据库需求量有所上升,整体占比达到14%。详细情况如图1所示。
云数据库产品在金融业应用取得显著成果。云数据库具备灵活可扩展、高可用性、高容灾性、自动化管理和成本集约等特性,在金融业应用逐步深入,实例数占比已达到44%。
金融核心系统数据库实践经验不断沉淀
核心系统作为金融机构业务的关键组成部分和信息化建设的基础,需满足高效准确处理大量数据、支持复杂业务、快速响应需求、保持稳定安全等高要求。然而,传统封闭式IOE架构因性能瓶颈和供应链安全风险已难以应对业务增长带来的挑战。因此,构建自主可控、稳定高效的新一代金融核心系统成为迫切需求。
大型金融机构引领创新,积累宝贵实践经验。大型金融机构积极贯彻落实国家科技创新发展战略,适应数字经济时代发展需求,结合自身的发展定位、技术储备和业务特点等实际情况,按照分布式转型、核心验证、云化部署等路线,加速推进我国数据库技术产品在核心系统建设中的创新应用,并朝着分布式、云原生的总体方向演进。目前,大型金融机构多采用分布式技术架构,基于PC服务器,运用分布式数据库,加快推动核心系统的转型升级,提升金融行业的自主可控水平。随着基础软硬件产品和技术的日益成熟,分布式架构已成为大型金融机构建设新一代核心系统的主流路线。
中小金融机构紧跟迭代步伐,夯实数据库基础能力。目前,中小金融机构的核心业务系统大多运行在国外的大中型服务器和传统集中式数据库上。然而,随着业务的发展和信创改造的需求,传统的集中式架构已难以满足性能、高可用性及技术可控的要求。因此,中小金融机构正全面进行核心系统的改造升级,在数字化转型和核心系统升级改造过程中,加强技术自主可控、优化系统架构、提升业务处理能力以及保障数据安全等方面的水平和能力。相较于大型金融机构,中小金融机构因核心系统处理的交易量和架构复杂度较低,且数据库技术和人员储备相对不足,其核心系统数据库的升级更依赖于数据库企业的支持,因此进展较慢,但也在对公信贷、会计核算等核心业务领域进行积极探索。
不断完善升级路径和方法论,为同业提供参考借鉴。金融机构核心系统数据库传统上主要使用Oracle和DB2。从应用演进的角度来看,金融核心系统数据库的升级通常采用平滑迁移或完全新建两种方式。平滑迁移注重在不改或仅做少量修改应用的前提下,保持库表结构基本不变,将数据库替换为我国数据库;完全新建则是构建一套新的核心系统,通过将旧核心的数据与新核心的数据结构进行映射,完成数据的转换和迁移。通过这两种方式,金融机构在核心系统数据库的转型升级方面进行了有益探索,不断提供新的金融应用场景,逐步打造新的解决方案,充分验证我国数据库技术的可行性,推动我国数据库技术产品在性能、功能、可用性等方面的提升。在此过程中,逐步形成了一套核心系统数据库转型升级的方法论。
技术创新加速金融业数据库技术迭代升级
1.生成式AI加速非关系型数据库发展
随着生成式AI时代的到来,文本、图片、视频等非结构化数据加速增长,非关系型数据库产品应用前景广阔。生成式AI的通用性和非关系型数据库的数据处理特性相结合,可提升任务处理能力和结果表现,尤其在智能搜索、实时推荐、知识管理等金融领域。图数据库适用于复杂关系查询和分析,结合知识图谱和大型模型,可进行复杂推理,并实时查询验证生成内容的准确性,从而确保生成内容更加合理和精确。向量数据库支持快速高效的相似性搜索,适合处理文本、图像和音频等非结构化数据,为生成式AI的多类应用提供支持。此外,生成式AI加速了数据库迭代升级,通过将自然语言转换为数据操作语言或指令,增强了非关系型数据库的普及度和交互便捷性,降低了学习门槛。
2.软硬一体化降低数据库适配调优工作
传统数据库系统往往需要针对不同的硬件配置进行复杂的适配工作,而数据库一体机则是预配置的集成系统,通常包括服务器、存储、网络和数据库管理软件等组件,通过合理高效的架构设计,优化数据库性能,降低软硬件产品选型和上下游适配、调优的难度,简化了部署和管理,为金融机构提供开箱即用的整体解决方案。相较于传统数据库系统,数据库一体机具有性能优化、快速部署、简化管理、高可用性、可靠性及支持多种部署方式等优势。金融机构在选择数据库一体机时,需要统筹考虑高交易性能及实时分析能力全栈适配、安全合规等因素。
3.存算分离架构提升数据库扩展灵活性
存算分离架构通过解耦数据存储与计算功能,实现了资源的独立扩展和灵活配置,满足不同规模业务需求,提高资源利用率并降低成本。例如,在某银行核心交易系统升级中,上线两节点类RAC共享存储集群数据库,预估业务增长之后,计算节点可以扩展到至少3个节点,而存储资源可以根据具体数据量的增长进行在线灵活的不同比例扩展,避免计算资源扩展同时必须同时扩展存储资源的问题。此外,存算分离架构支持不同规格的存储设备,可以针对不同数据的存储需求,配置不同等级的存储介质,合理优化存储成本,并保障服务器故障不影响其他数据库的数据访问,通过灵活替换存储或计算组件,提高整个系统的可靠性。
总体而言,存算一体架构可以满足金融业务创新发展初期的快速和敏捷交付需求,且初期投资较低,适合中小规模应用。存算分离架构在大规模、高并发、高可用场景中具有资源利用率、性能、可靠性等优势。然而,存算分离架构也增加了网络资源的开销,以及因分布式升级改造而导致的开发、测试、运维和能耗压力。因此,金融机构在选择架构时应综合考虑实际业务需求、数据量、安全性、成本等多方面因素,以选择最符合自身实际情况的架构方案。
金融业数据库应用生态亟需进一步完善
1.金融业数据库应用生态面临问题
一是社区建设处于起步阶段,参与者的活跃度不高。金融业数据库应用生态社区尚缺乏活跃用户群体和成熟运营环境,限制了技术交流和知识传播,导致金融机构难以及时获得针对性帮助,往往不得不依赖原厂来解决问题。同时,社区内缺乏实际应用的成功案例、最佳实践分享以及金融行业标准和规范的交流讨论。
二是官方技术文档仍存在差距,可操作性亟待增强。我国数据库官方文档在全面性、实用性、及时性、可获得性及技术深度上需进一步提升。文档多限于基本介绍和安装指南,缺乏核心技术解析、实用的知识库构建和最佳实践指导,且操作步骤描述不清晰,可操作性弱。文档更新常滞后于产品迭代,无法反映最新特性,难以满足金融机构处理复杂场景的需求。特别是跨版本兼容性描述不清,甚至存在错误和矛盾,导致信息不准确,增加操作失误风险。
三是外围工具链成熟度不够,导致迁移和运维难度大。数据库作为IT系统的核心组件,需与多种软件和工具协同工作。然而,我国数据库企业市场占有率相对均衡,缺乏对第三方开发商和服务商的吸引力,限制了工具链的全面发展,导致金融机构依赖原厂提供的配套工具、服务和培训。金融机构在核心系统中应用我国数据库技术产品尚处初期阶段,配套工具缺乏通用性和兼容性,存在版本不匹配的问题,增加了迁移、改造和运维管理的复杂性及成本。
四是数据库集成能力不足,缺乏整体解决方案。目前,我国数据库的ISV合作伙伴数量有限,专业水平和服务质量参差不齐,对数据库技术的掌握和应用不足,这直接影响了其为金融机构提供解决方案的质量和稳定性。金融业对数据安全、合规性、交易处理等方面要求严格,部分ISV在满足这些特定需求上存在差距,限制了其产品或服务在金融领域的适用性。此外,部分ISV提供的产品或服务还可能与金融机构现有的系统或其他软件存在兼容性和集成性问题。
五是人才全方位短缺,售后服务范围覆盖不足。高水平数据库研发人才主要集中在数据库企业,但其数量和覆盖范围尚不足以满足市场需求。培训和认证体系尚不成熟,证书权威性和质量需提升,且认证内容与实际管理存在偏差。数据库厂商售后服务投入普遍不足,团队能力和规模与主流厂商相比有较大差距,尤其在业务高峰期或紧急情况下服务质量不稳定,响应速度和跟进能力不足,对金融机构业务连续性构成风险。
2.金融业数据库应用生态发展建议
一是积极推动开源发展,增强社区活跃度。坚持开源和生态共赢的理念,鼓励金融机构、ISV和系统集成商参与开源社区建设,通过开放优质技术成果和核心产品源码、分享应用场景等方式,推动开源数据库产品和社区的繁荣发展。持续完善开源数据库产业链,促进其与基础软件、硬件及应用场景的深度融合,为金融机构提供整体解决方案。组织金融业开源技术研讨活动,促进技术交流与合作,进一步提升开源社区的影响力和行业地位。
二是完善运维工具平台,提升运维管理效率。数据库企业要为金融机构提供直观易用的运维工具和管理平台,并融合机器学习、大模型等新技术,打造自动化和智能化运维工具,从而简化运维流程,减少人为操作失误。同时,应提供标准化接口,实现与金融机构现有或第三方运维管理平台的无缝对接,提升整体运维效率。此外,要加强运维知识库建设,通过建立用户社区和知识共享平台,集中分享产品教程、问题解答、解决方案和技术文档等资源,提高知识获取的便捷性,降低用户学习成本和使用难度。
三是全面升级售后服务质量,提高客户满意度。数据库企业可以通过扩大技术支持团队、提供与实际应用紧密结合的定制培训以及提升文档质量与检索便利性等方式,助力金融机构增强对数据库技术的自主管理能力。同时,要加强售后服务团队建设,通过定期培训和严格考核提升团队的专业能力和服务水平,并建立有效的售后服务质量监督机制。此外,要与生态伙伴紧密合作,拓展售后服务的覆盖范围,为金融机构提供定制化、专业化、本地化的服务支持。
四是打造高效易用方案和产品,降低使用成本。我国数据库企业的首要任务是优化迭代产品,通过持续增强产品的功能、性能、安全性和稳定性,吸引更多ISV和服务提供商加入其生态系统。数据库企业还要专注于技术创新和成本控制,提供如按需计费和订阅制等灵活的计费模式,帮助金融机构减少初期投资和长期运营成本。
五是完善权威测评体系,加快推动人才培养。建立和完善针对金融业实际应用场景的权威评测体系,以全面评估数据库产品的性能并提供选型参考,同时鼓励产品参与国家级认证以增强市场信任和竞争力,并确保评估结果的透明度,从而保障金融机构系统的稳定、安全、合规,降低风险,支持业务发展。强化数据库人才的培养和引进,通过构建人才发展生态系统、建立严格的国家级或行业级认证体系,切实提升人员实际操作技能,确保人才认证的高标准和权威性。同时,依据金融业最佳实践制定相关的白皮书和标准规范,以推动金融业数据库应用生态的高质量发展。
金融业数据库创新发展展望
在国家科技创新战略的引领下,我国数据库产业取得了显著进展,初步迈向“好用”阶段。未来,数据库技术将呈现多模态融合、云原生架构和AI技术集成等多元化发展趋势,这将进一步推动技术进步和应用场景的拓展。
一是数据库创新应用的广度和深度将显著提升。在广度上,数据库产品的通用性和生态化效果日益显著,能够更好地适配各种业务场景和应用需求,降低对硬件的依赖,并通过灵活的架构和开放的发展模式促进产品优化。随着金融业务的多元化和复杂化,数据库技术的创新应用将覆盖更广泛的金融服务领域,成为支撑业务高效运转的关键,并推动更多中小金融机构的创新发展。在深度上,我国数据库将深入到金融业核心系统的升级全过程,并通过提升产品性能和功能来高效赋能业务创新与智能决策。同时,结合大数据和人工智能等技术,数据库将能处理更复杂的数据类型,为金融机构提供精准的市场洞察和风险评估,推动金融业务的高质量创新与发展。
二是数据库技术产品能力持续得到打磨优化。数据库产品将通过提升多维度能力,实现功能的全面性、稳定高效性及良好的兼容性。这包括增强数据处理、分析和加密等能力,提供软硬件一体化解决方案以优化性能和成本效益,以及提高与现有金融系统的兼容性,从而降低迁移和升级的风险与成本。同时,业务场景的发展将加速数据库产品的创新,推动多类新型数据库的快速进步。这些新型数据库如多模数据库、向量数据库、云原生数据库、图数据库和数据湖仓等,将更好地满足多样化数据处理需求,提高数据处理、管理的效率和准确性。此外,业务复杂性和技术先进性正驱动数据库产品向智能化和多元化发展。数据库与人工智能技术的深度融合不仅降低了数据库的使用门槛、提升了应用效率,还促进了人工智能的高效建模和大模型的有效落地。数据库技术呈现出融合创新的发展趋势,软硬一体、HTAP混合架构、AI技术赋能等新技术的应用将进一步增强数据库的硬件适应性、感知能力和自动性能调优能力。
三是高效灵活部署架构和迁移方案不断推出。云原生技术和容器化技术发展与应用更加深入,促使数据库部署架构更加高效灵活。容器化部署成为金融业数据库管理的重要方式,实现数据库管理的自动化,缩短交付时间,提升运维效率,并通过云原生的调度能力和容器的隔离技术增强了数据库的安全性和资源利用率。同时,通过DBaaS模式提供统一数据库服务,实现业务的安全稳定和架构的灵活可靠,同时优化了资源消耗和能效,绿色和节能理念更加深入。高效的数据库迁移方案不断推出,以实现系统数据的完整迁移,保障业务连续性。方案针对不同业务类型提供定制化迁移策略,遵循行业规范和科学流程,利用通用迁移工具实现多样化迁移功能。未来将致力于提供更完善的数据库迁移方案,以降低迁移复杂性、提高安全性和数据一致性,帮助金融机构快速响应市场变化并调整数据库架构。
四是数据库创新应用生态将会逐步健全完善。建立统一的数据库标准将提高管理平台的开发效率和质量,并为构建活跃的生态系统奠定基础。这包括确保数据安全与合规,促进基础平台、不同数据库间的互操作性与可移植性,以及通过规范化流程和标准化机制提升数据的保密性、完整性和可用性,逐步降低数据泄露和违规操作的风险。文档知识库和配套工具的建设将不断完善,为金融机构提供全面支持,加速数据库在金融业的创新和推广。数据库企业将逐步提供详尽的技术文档、开发工具和专业技术支持,降低使用门槛和成本。同时,活跃的开发者社区和第三方服务商将加速问题解决和技术传播,帮助金融机构降低运维成本和风险,为金融业数据库应用生态的健全提供有益补充。
(注:本文是《金融业数据库创新发展报告(2024)》的精简版。报告由金融信息化研究所联合主要金融机构和数据库厂商编写,其中包括农业银行、中国银行、建信金科、交通银行、邮储银行、平安银行、华夏银行、广发银行、渤海银行、恒丰银行、浙商银行、北京银行、江苏银行、北京农商银行、上海农商银行、中信证券、国泰君安证券、国信证券、华泰证券、中国人寿财险、太平洋保险、中国人民人寿、泰康保险、平安科技、中国银联、网联清算、奥星贝斯、腾讯云、武汉达梦、金篆信科、华为云、酷克数据)
(此文刊发于《金融电子化》2024年11月下半月刊)
热门跟贴