去IOE,OceanBase替换Oracle
近年来,数据安全意识增强,技术创新迅猛发展,国内企业对于数据的安全性和可控性要求越来越高。根据《中华人民共和国国民经济和社会发展第十四个五年规划和2035 年远景目标纲要》、《中共中央政治局就实施网络强国战略进行第三十六次集体学习》中的要求,企业需加快推进国产自主可控计划,构建安全可控的信息技术体系。
某运营商集团总公司响应国家号召,下发文件要求各公司分步骤有序去“IOE”,加强数据安全。该运营商支付公司,作为集团总公司旗下一家庞大的支付平台,开始了一场去IOE的实践行动。
一期项目主要围绕其支付链路,对其核心系统进行数据迁移与割接,实现新旧系统替换,业务接管。
核心系统原数据库为Oracle数据库,维护成本高,且无法支撑新一代技术架构全面升级,满足“容量”弹性伸缩能力,以及“容灾”异地多活需求。OceanBase作为一款完全意义上自主研发掌控的国产分布式数据库,成为此次替换Oracle数据库的主角,基于通用服务器,能够实现企业级、金融级高可用及数据一致性,为客户系统带来更好的性能、安全性和可持续发展的机会。
OceanBase优势
容量:从传统集中式,到单一IDC分布式,最后跨越到了多城市、多IDC并行计算;
容灾:异地多活,达到银监会最高第6等级容灾水平:异地(>1000公里) rpo=0、rto<10分钟;
安全性:提供数据冗余备份和自动故障恢复的功能,支持数据加密和访问控制等安全特性,加强系统数据安全防护。
迁移+比对,迪思杰护航系统割接上线
项目运行过程中,原Oracle数据库大量的存量、增量数据如何完整有效的迁移到新OceanBase数据库,并确保割接业务的正常运行,是项目的一大重点,迪思杰成为此次数据迁移的护航者。
项目围绕支付链路,整体呈迁移数据量大、割接时间短、比对要求高等特点。
项目特点
数据量大:基本都是十几T的数据且系统割接频繁(一个月2套、一个月4套系统),需要在2-3天将oracle数据迁移到ob_oracle,并在2-3左右完成全量校验;
割接时间短:割接窗口只有10分钟,全量比对结束+后面增量数据需要实时增量比对(保障数据的一致性),割接操作不能超过3分钟(增量数据校验完成-停正向同步-启动反向同步);
比对要求高:存在4-6T的大表,需对比对工具优化,全量通过id或者分区自动拆分,增量联合主键比对、指定主键,确保数据一致性。
此次迁移主要包括6套系统,即代扣、收单、支付、交易、cif和账务系统,通过迪思杰自主研发的DSG SuperSync大型数据库高性能复制工具和DSG XCMP数据比对平台,实现其核心系统从Oracle迁移割接至OceanBase。
数据迁移和同步过程中,采用全量+差异+实时增量比对的方法,以确保数据的准确性和完整性。同时,为了保障数据的安全性和可靠性,回流链路保障措施同步实施。这意味着在出现异常情况时,可以及时回滚或恢复数据,以确保系统的稳定性和业务的连续性。
迁移架构图
项目自去年9月26日开始入场测试,并于10月20日完成了代扣系统的现场测试验证。随后,到2022年11月17日,完成了第一套系统的上线工作。之后陆续上线了大小共9套系统,最终于2023年6月20日完成了支付链路所有系统的上线工作。
项目阶段里程碑
大迈进,优势与突破并发
对于金融行业而言,数据的准确性、完整性、实时性尤为重要的,不负众望的是,迪思杰产品在整个项目运行过程中,优势凸出。
全量同步性能:560G/H;比对性能:860G/H。
DSG产品优势
1.数据迁移、校验效率高:能够在较短时间内完成大数据量的迁移和数据校验工作:如现场10-20T左右的数据,能在2-3天内完成迁移,并在2-3天内完成第一轮的全量数据校验;
2.数据实时校验:能够做到数据实时校验,全量迁移完成后,即可在较短时间内进行全量数据校验和实时增量比对,确保数据的一致性,保障了系统的正常上线;
3.增量比对效率高:对于已上线的系统,增量比对都是在割接窗口1分钟以内完成了数据的比对,另外反向同步可以指定时间点进行增量同步,这些都大大减少业务的停机时间,极大程度降低停机给客户带来的损失和风险;
4.迁移工具灵活:针对客户采用不停机割接、源端read only表、灰度验证模式,可以在割接时候反向同步,仅仅需要只获取数据不装载即可;
5.丢失数据可以快速发现并修复:一些参数配置和现场误操作导致数据丢失,能在极短时间通过DSG XCMP比对工具及时发现并快速修复;
6.同步工具追增量数据快:在现场每天客户业务繁忙数据巨大情况下,追一天的增量数据仅仅需要一个小时;
此次项目,于迪思杰而言,是一次TB级别数据量的全量比对,也是DSG首次项目使用增量比对,是对DSG比对产品的一次挑战!
DSG产品优化
全量比对
自动分区拆分比对:针对现场源端oracle和ob_oracle分区表名不一致情况,修改两边数据库取分区的方式,实现自动分区拆分比对;
高可用:取数过程中有报错或者查询超时,会重连并重新取数;
增量比对
修改源端、目标端抽取增量数据的逻辑:之前版本源端和目标端分别抽取各自监控到的变化数据 ,同步上无法避免延迟,导致特殊情况下会有数据遗漏的风险。通过优化取数模式,现版本可以保证数据不会遗漏;
新增比对类型,提升比对效率:优化了源端oracle dbink查询的sql,并支持多种类型主键的比对功能,现场开发支持number、字段串、和时间类型,对现场单表上几T分区表,从增量比对用时2000多秒优化到秒级别;
源端和目标端主键不一样的情况下进行增量比对:ob_oracle数据库分区表主键必须带上分区键,这样导致现场源端oracle单一主键,到目标端主键为主键加分区键的联合主键,经现场开发,实现当源端和目标端主键不一样的情况下进行增量比对;
源端监控新增支持ddl操作:原版本仅支持dml监控,但现场源端oracle分区表每天都会自动创建一个新的分区,监控不支持ddl操作,导致监控报错,经修改已支持ddl操作。
小总结,工程与研发的火花碰撞
此次项目是一个多系统,阶段化,环环相扣的迁移,难度高,数据量大,迁移窗口极短,工程能力和研发能力是此次迁移实现的关键!面对现场问题,迪思杰全程以工程推动+研发适配开发的模式,保障项目的顺利完成!整个项目,迪思杰与各方团队都做出了巨大努力,克服了各种挑战。
项目割接现场留念
对于客户来说,该项目的顺利完成,提升了系统的稳定性和可靠性,也为企业未来提供了更大的发展空间和潜力。对于自身而言,迪思杰通过参与这一项目,不仅提升了技术实力,也树立了良好的行业声誉,在国产信创自主可控实践行动中划下标志性的一笔,为未来发展留下更多可能!
2025.06.11
了解详情>
2025.05.28
了解详情>
2025.03.10
了解详情>
2025.02.17
了解详情>
2025.01.20
了解详情>
2024.12.30
了解详情>
2024.12.09
了解详情>
2024.10.08
了解详情>
2024.09.29
了解详情>
2024.09.25
了解详情>
2024.08.12
了解详情>
2024.07.22
了解详情>
2024.07.08
了解详情>
2024.07.01
了解详情>
2024.05.16
了解详情>
2024.04.01
了解详情>
2024.03.25
了解详情>
2024.03.18
了解详情>
2024.03.04
了解详情>
2024.02.19
了解详情>
2024.02.04
了解详情>
2024.01.22
了解详情>
2024.01.15
了解详情>
2024.01.02
了解详情>
2023.12.25
了解详情>
2023.12.20
了解详情>
2023.12.11
了解详情>
2023.12.04
了解详情>
2023.11.20
了解详情>
2023.11.13
了解详情>
2023.10.30
了解详情>
2023.10.11
了解详情>
2023.09.15
了解详情>
2023.08.01
了解详情>
2023.07.25
了解详情>
2023.07.04
了解详情>
2023.05.29
了解详情>
2023.05.08
了解详情>
2023.03.06
了解详情>
2022.11.14
了解详情>
2022.09.26
了解详情>