文 / 中国太保集团数智研究院首席数据库专家林春
中国太保集团（以下简称太保集团）作为金融行业攻坚核心业务系统的先行者，基于提升数据库弹性扩缩容和高可用性能力以及降本需求，制定了“先难后易”的数据库数字化转型策略，选出最复杂、业务影响最广的核心客服系统，产用联合攻坚，通过关键共性技术重点突破带动全局，淬炼出本地化的知识库、工具平台、培训体系、人才队伍。
支撑企业未来业务发展，实现架构转型、提升企业竞争力是数据库基座数字化转型的终极目标，在我司数字化转型全过程中，在稳定性前提下如何降本是核心问题。由于应用改造成本超过数字化转型成本的60%，因此成为降本重点。我司聚焦应用改造降本、测试环节降本、迁移优化、硬件资源降本、架构设计优化等五大关键环节。以应用优化与数据生命周期管理合理化、前置性的应用改造规划、精细化的架构优化设计、技术创新以及沉淀本地化知识体系等五大举措为抓手，显著降低数据库数字化转型的成本，为企业数字化转型之路铺就一条既快速又经济的通途。
太保集团数据库数字化转型的难点
太保集团转型的难点包括：
1. 存储过程改造复杂度及工作量巨大。大量关键系统深度绑定Oracle特性，存量存储过程体量庞大，现有迁移工具无法识别存储过程中改造点，改造成本很大。
2. 业务场景复杂。既包含了高并发场景，例如车险理赔系统，QPS高达13万；也包含了重负载批加工场景，例如产险销管系统、费控系统等；还有对系统稳定性要求极高的资金交易和会计核算系统。如何解决重负载、高并发系统服务器CPU瓶颈存在痛点。
3. 海量数据。由于业务规模和业务需求，逻辑集中的大库多，单实例数据量超过20TB以上的大库有50多个，在保险行业乃至金融行业非常突出。
太保集团因地制宜的降本举措
为实现降本目标，太保集团在数据库数字化转型的过程中聚焦于五大重要措施：应用优化与数据生命周期管理合理化、前置性的系统改造规划、精细化的架构优化设计、创新工具的研发与应用以及淬炼本地化知识体系，从而显著降低数据库数字化转型的总成本。
降本驱动在太保集团数据库数字化转型中扮演了关键角色。业务系统转型降本主要分为五大关键环节，它们分别是应用改造降本、测试环节降本、迁移优化、硬件计算资源及存储资源降本、架构设计优化等。业务系统转型降本的总体情况如下图所示。
根据统计，应用改造的人力成本（包括应用改造、测试和迁移）超过数据库数字化转型总成本的60%以上。因此，降低应用人工改造成本不仅可以直接降低数据库数字化转型总成本，带来可观的经济效益，而且还能提升应用改造效能可以减少应用改造人力的投入，从而加快数据库数字化转型的进程并影响最终效果。
1.应用改造降本
应用改造主要包括问题识别和应用优化两个环节，这两个环节消耗的人力成本各占约50%左右。应用改造成本降本主要通过提升问题识别效率、提升SQL优化辅助手段、将改造前置至Oracle侧进行等三个方面实现，具体如下。
（1）问题识别环节降本。所谓问题识别，是指Oracle数据库在迁移至OceanBase数据库之前，需要对Oracle数据库对象及应用程序代码进行全面扫描，以识别出在迁移至OceanBase数据库过程中需要进行改造的问题点。应用改造预评估的价值在于在数据库数字化转型的最初环节就能够提前发现并处理这些潜在问题，在Oracle源端数据库就开始进行必要的改造。此外，应用改造预评估还能从整体上识别需要改造问题的量级，这样便于提前评估应用改造的难度、需要投入的人力以及提前做好相应应用改造项目预算。太保集团自研数据库应用改造预评估工具“指南针”，该工具兼容Oracle和MySQL版本，能够在迁移OceanBase数据库前，对源库进行预扫描评估改造点，目前支持Oracle和MySQL数据库，包括近40个检查大类600多个检查项，弥补了数据库存储过程、自定义函数、自定义类型、package包等源代码不兼容改造排查工具的空白，能够在正式进行迁移前，预先根据源数据库存储过程、自定义函数、自定义类型、package包等源代码进行SQL不兼容项扫描，并初步给出不兼容代码、不兼容代码在源码对象中位置、不兼容问题原因以及不兼容代码改造建议，根据统计，约提升了应用改造问题识别环节效率约50～70%，降低全集团数据库数字化转型应用改造成本约20%。
（2）SQL优化环节降本。我们通过研发优化辅助工具给出索引建议等提升SQL优化效率、结合调优实战培训和开发规范，降低优化环节的人工成本约30%。
（3）改造Oracle侧前置。我们可以将部分改造工作前置到Oracle数据库层面进行。主要包括两个方面：一方面是将明确不兼容的Oracle特性进行解耦，这主要是明确会影响迁移OceanBase数据库性能或影响OceanBase数据库稳定运行的Oracle特性，例如索引组织表，索引组织表会大幅影响异构数据库迁移的性能，并且OceanBase数据库中的表是以主键进行物理排序，实质就是索引组织表，因此OceanBase数据库中保留索引组织表没有意义，解决方案是在Oracle侧将索引组织表改造为普通表即可；另一方面是降CPU缩容评估。所谓降CPU就是通过对Oracle数据库中高逻辑读的SQL语句进行优化的方式，降低服务器CPU使用率，这样，在应用迁移到OceanBase数据库后，CPU的需求也会降低,减少计算资源开销；缩容指的是存储缩容，通过识别冗余大表、冗余索引以及数据生命周期管理合理化减少有效迁移数据集。通过“数据库瘦身”，不仅减少了迁移的复杂度和成本，而且降低了长期运维的人力成本和硬件成本。
2.测试成本优化
测试环节一般包括全量回归测试（包含关联系统测试）、针对改动开发功能点的集成测试还有性能测试等，性能压测成本占测试总成本比重较高，测试成本与应用改造成本有相关性，一般测试成本约为应用改造成本的25%，降低测试成本的关键在于提升应用改造效能。降低应用改造的成本也会间接降低测试成本。应用改造预评估提前发现问题；并且将改造前置，提前在Oracle侧优化“带病运转”SQL语句，可以极大地降低测试成本。
3.迁移成本优化
迁移成本包括预迁移成本和上线迁移成本。预迁移演练包括全量迁移、增量迁移、数据比对。迁移演练总时长=需要迁移演练时间乘以演练次数计算，一般系统上线迁移演练不超过3次；上线迁移包括上线环境部署、正式迁移以及迁移后72小时重点保障。迁移成本主要取决于Oracle侧有效迁移数据集的大小，提前对冗余大表做清理及对陈旧数据做归档可以有效降低Oracle侧有效迁移数据集的大小，从而降低迁移成本。
4.硬件成本优化
硬件成本优化主要包括数据降CPU缩容、存储利旧、合理化硬件资源估算模型。数据降CPU主要通过优化SQL和利用OceanBase多租户架构实现；存储缩容主要通过数据库瘦身和OceanBase的存储压缩功能实现。
5.架构设计优化
数据库数字化转型不是一比一的替换，实际上，原有的Oracle数据库承载了许多非数据库应承担的功能，需要做架构设计优化实现。在迁移至“根自研”数据库后，可以考虑将一些大对象字段从数据库中做一个拆离。以我司电子保单系统为例，原先的数据库容量高达22TB，但在将大对象字段拆出去后，数据库大小显著降低至2～3TB。这种调整不仅使得数据库迁移到目标平台后运行更为稳定，而且显著降低了运营成本；同时，一些重AP场景也可以架构优化至数据中台实现。
太保集团数据库数字化转型成果
太保集团的数据库数字化转型取得了架构转型、降本显著、技术创新、能力沉淀、反哺产业等成果，业务架构实现良好的扩展性和弹性扩容能力，满足未来业务增长发展需求。我司的“数据瘦身”结合OceanBase的存储压缩能力，实现存储容量仅为Oracle侧的1/4，大幅减少服务器硬件扩容需求，备份恢复较Oracle约提升了5倍性能，解决了此前Oracle侧大库备份、恢复演练时间过长的问题；实现了兼容MySQL、兼容Oracle版本同集群部署、同OCP管控，大幅提升了资源利用率以及降低了运维成本。太保集团大量复杂系统上线，均运行稳定，成为金融行业新的标杆。
热门跟贴