新闻动态-DSG动态
全球领先的数据管理软件、应用开发统一提供商,致力于为企业级的大型数据中心提供解决方案。
小跨步,分阶段,新高度, 某运营商支付公司多系统Oracle迁移到OB完美收官!
发布时间:2023.07.04




6月20日,迪思杰助力某运营商支付公司核心系统数据迁移一期项目顺利完工。


为达到客户支付系统割接时间窗口10分钟之内,并保障若割接后出现故障能顺利回切的要求,迪思杰采用实时增量差异比对+反向回流策略,通过全量+实时增量同步、全量+实时增量差异比对,双向同步技术,成功协助该运营商支付公司实现了业务核心系统从OracleOceanBase数据库的数据迁移割接。

01


去IOE,OceanBase替换Oracle



近年来,数据安全意识增强,技术创新迅猛发展,国内企业对于数据的安全性和可控性要求越来越高。根据《中华人民共和国国民经济和社会发展第十四个五年规划和2035 年远景目标纲要》、《中共中央政治局就实施网络强国战略进行第三十六次集体学习》中的要求,企业需加快推进国产自主可控计划,构建安全可控的信息技术体系。


某运营商集团总公司响应国家号召,下发文件要求各公司分步骤有序去“IOE”,加强数据安全。该运营商支付公司,作为集团总公司旗下一家庞大的支付平台,开始了一场去IOE的实践行动。


一期项目主要围绕其支付链路,对其核心系统进行数据迁移与割接,实现新旧系统替换,业务接管。

 

核心系统原数据库为Oracle数据库,维护成本高,且无法支撑新一代技术架构全面升级,满足“容量”弹性伸缩能力,以及“容灾”异地多活需求。OceanBase作为一款完全意义上自主研发掌控的国产分布式数据库,成为此次替换Oracle数据库的主角,基于通用服务器,能够实现企业级、金融级高可用及数据一致性,为客户系统带来更好的性能、安全性和可持续发展的机会。


OceanBase优势

容量:从传统集中式,到单一IDC分布式,最后跨越到了多城市、多IDC并行计算;

容灾:异地多活,达到银监会最高第6等级容灾水平:异地(>1000公里) rpo=0、rto<10分钟;

安全性:提供数据冗余备份和自动故障恢复的功能,支持数据加密和访问控制等安全特性,加强系统数据安全防护。


02


迁移+比对,迪思杰护航系统割接上线



项目运行过程中,原Oracle数据库大量的存量、增量数据如何完整有效的迁移到新OceanBase数据库,并确保割接业务的正常运行,是项目的一大重点,迪思杰成为此次数据迁移的护航者。

 

项目围绕支付链路,整体呈迁移数据量大、割接时间短、比对要求高等特点。


项目特点

数据量大:基本都是十几T的数据且系统割接频繁(一个月2套、一个月4套系统),需要在2-3天将oracle数据迁移到ob_oracle,并在2-3左右完成全量校验;

割接时间短:割接窗口只有10分钟,全量比对结束+后面增量数据需要实时增量比对(保障数据的一致性),割接操作不能超过3分钟(增量数据校验完成-停正向同步-启动反向同步);

比对要求高:存在4-6T的大表,需对比对工具优化,全量通过id或者分区自动拆分,增量联合主键比对、指定主键,确保数据一致性。

 

此次迁移主要包括6套系统,即代扣、收单、支付、交易、cif和账务系统,通过迪思杰自主研发的DSG SuperSync大型数据库高性能复制工具DSG XCMP数据比对平台,实现其核心系统从Oracle迁移割接至OceanBase。


数据迁移和同步过程中,采用全量+差异+实时增量比对的方法,以确保数据的准确性和完整性。同时,为了保障数据的安全性和可靠性,回流链路保障措施同步实施。这意味着在出现异常情况时,可以及时回滚或恢复数据,以确保系统的稳定性和业务的连续性。



迁移架构图


项目自去年9月26日开始入场测试,并于10月20日完成了代扣系统的现场测试验证。随后,到2022年11月17日,完成了第一套系统的上线工作。之后陆续上线了大小共9套系统,最终于2023年6月20日完成了支付链路所有系统的上线工作。





项目阶段里程碑



03


大迈进,优势与突破并发



对于金融行业而言,数据的准确性、完整性、实时性尤为重要的,不负众望的是,迪思杰产品在整个项目运行过程中,优势凸出。


全量同步性能:560G/H;比对性能:860G/H。


DSG产品优势

1.数据迁移、校验效率高:能够在较短时间内完成大数据量的迁移和数据校验工作:如现场10-20T左右的数据,能在2-3天内完成迁移,并在2-3天内完成第一轮的全量数据校验;

2.数据实时校验:能够做到数据实时校验,全量迁移完成后,即可在较短时间内进行全量数据校验和实时增量比对,确保数据的一致性,保障了系统的正常上线;

3.增量比对效率高:对于已上线的系统,增量比对都是在割接窗口1分钟以内完成了数据的比对,另外反向同步可以指定时间点进行增量同步,这些都大大减少业务的停机时间,极大程度降低停机给客户带来的损失和风险;

4.迁移工具灵活:针对客户采用不停机割接、源端read only表、灰度验证模式,可以在割接时候反向同步,仅仅需要只获取数据不装载即可;

5.丢失数据可以快速发现并修复:一些参数配置和现场误操作导致数据丢失,能在极短时间通过DSG XCMP比对工具及时发现并快速修复;

6.同步工具追增量数据快:在现场每天客户业务繁忙数据巨大情况下,追一天的增量数据仅仅需要一个小时;


此次项目,于迪思杰而言,是一次TB级别数据量的全量比对,也是DSG首次项目使用增量比对,是对DSG比对产品的一次挑战!


DSG产品优化



全量比对


自动分区拆分比对:针对现场源端oracle和ob_oracle分区表名不一致情况,修改两边数据库取分区的方式,实现自动分区拆分比对;

高可用:取数过程中有报错或者查询超时,会重连并重新取数;



增量比对


修改源端、目标端抽取增量数据的逻辑:之前版本源端和目标端分别抽取各自监控到的变化数据 ,同步上无法避免延迟,导致特殊情况下会有数据遗漏的风险。通过优化取数模式,现版本可以保证数据不会遗漏;

新增比对类型,提升比对效率:优化了源端oracle dbink查询的sql,并支持多种类型主键的比对功能,现场开发支持number、字段串、和时间类型,对现场单表上几T分区表,从增量比对用时2000多秒优化到秒级别;

源端和目标端主键不一样的情况下进行增量比对:ob_oracle数据库分区表主键必须带上分区键,这样导致现场源端oracle单一主键,到目标端主键为主键加分区键的联合主键,经现场开发,实现当源端和目标端主键不一样的情况下进行增量比对;

源端监控新增支持ddl操作:原版本仅支持dml监控,但现场源端oracle分区表每天都会自动创建一个新的分区,监控不支持ddl操作,导致监控报错,经修改已支持ddl操作。


04


小总结,工程与研发的火花碰撞



此次项目是一个多系统,阶段化,环环相扣的迁移,难度高,数据量大,迁移窗口极短,工程能力和研发能力是此次迁移实现的关键!面对现场问题,迪思杰全程以工程推动+研发适配开发的模式,保障项目的顺利完成!整个项目,迪思杰与各方团队都做出了巨大努力,克服了各种挑战。



项目割接现场留念


对于客户来说,该项目的顺利完成,提升了系统的稳定性和可靠性,也为企业未来提供了更大的发展空间和潜力。对于自身而言,迪思杰通过参与这一项目,不仅提升了技术实力,也树立了良好的行业声誉,在国产信创自主可控实践行动中划下标志性的一笔,为未来发展留下更多可能!


热门动态
警告弹窗