近日，国内一家保险行业龙头企业数字化转型，引入国产分布式数据库TiDB来替代原有的Oracle数据库，通过迪思杰&DSG SuperSync助力赋能，提供非车保单中心全栈信创切换的逃生回流方案！ 

建设效果

- 提升高负载处理能力：使用分布式数据库解决单机瓶颈，提高大数据量高并发压力下的处理性能。

- 实现资源弹性扩缩容：使用分布式数据库，敏捷扩展能力提升交付运营效率，实现在线弹性资源伸缩，满足业务快速发展需求。

- 实现软硬件成本降低：服务器和软件全面国产化，通过适配改造和性能调优，满足业务性能和稳定性要求，降低软硬件成本。

- TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP）的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。

- TiCDC 是一款 TiDB 增量数据同步工具，通过拉取上游 TiKV 的数据变更日志，TiCDC 可以将数据解析为有序的行级变更数据输出到下游。

- DSG SuperSync 是一款集多项核心技术于一身的、经过十几年研发与产品打磨、拥有自主知识产权的大型数据库高性能数据复制产品，基于完全逻辑复制方式，通过日志分析技术，生成 DSG 独有的数据装载格式，实现业务首次全同步以及实时增量同步。具备多源异构、实时复制、占用资源小、部署灵活以及操作便捷等特点。适用于市场上绝大多数数据库，如国外主流商业版数据库、国产数据库、开源数据库及各类文件等，目标端支持大数据组件、分布式数据库、数仓、数据中台等。对客户复杂环境的适配全面，支持UNIX、Linux、Windows、AS400、虚拟化、云等。

- DSG DMP 容灾监控管理平台是DSG研发的一款拥有自主知识产权的、高性能的、大型的数据库监控平台工具。实现对数据同步的数据变化时间，数据变化量级、软件运行状态、软件资源占用、主机硬件状态以及网络环境的全面监控。主要应用场景包括：容灾监控，容灾运维以及容灾统计等，具有图形化监控、容灾队列配置、系统实时检测、短信邮件自动告警、容灾参数管控、运维协作管理、数据报表统计、日志监控审查、权限自主分配、功能模块配制等功能。

架构部署

- DSG SuperSync+DMP部署在中间服务器，三台中间机资源为128c*512G, 5块1.6T nvme磁盘；

- TiDB数据库中实时更新的增量数据由Ticdc导出为json文件， DSG SuperSynnc分析Ticdc导出json文件，转换生成独有数据流格式，写入Oracle数据库中；

- 按需求部署三条DSG回退通道，共计同步789+42+159=890张表。

- 数据同步具有连续性保障能力，无数据丢失风险；

- 正常交易时间段延时不得高于1分钟，高交易量期间数据延时不高于2小时；

- 保证数据在次日零点前完成当日数据同步；

- 对同步程序实现实时监控，遇报错实时反馈。

- 工作日期间每个通道每天增量数据在5000W条左右，非工作日交易量在2000W条数据，其中大量交易数据范围主要集中在早上十点以及业务新推文期间；

- 白天正常业务期间延时在20秒以内，无数据文件积压。

项目难点及创新

1. 从json文件中分析数据，实时入到Oracle数据库中；

2. 支持TiDB库中的ddl，实时入到Oracle数据库中；

3. 支持从TiDB到Oracle的数据全量、增量比对；

4. 提供精细化的解析指定的json文件及数据修复；

5. 通过TiDB到Oracle的同步告警精确定位业务逻辑导致冲突的数据冗余，协助业务系统回查问题并优化逻辑。