为了满足银行长期业务发展战略需要，提高金融服务质效，湖州银行开展了新核心系统建设，实现业务能力和技术能力的双重提升。过程中，DSG SuperSync作为数据同步工具，助力湖州银行将TDSQL数据实时同步到Kafka集群，保障了数据的安全性和一致性。

同步架构

- DSG SuperSync、pgmd和pgmcli程序采用2台32核*256GB物理机部署数据采集代理，通过TCP/IP进行TDSQL数据采集到Kafka;

- 分为实时采集和日切采集两个模式，程序通过设置日切表在晚上十二点左右停止分析日志，达到日切要求，实时队列在非跑批阶段1秒内延迟；

- 下游通过SDK接口通过DSG pgmd查看队列状态以及拉起停止的日切队列。

- 数据采集代理部署在中间服务器，采用非侵入生产服务器部署模式，采集代理机资源为32核*256GB物理机部署；

- 数据采集代理通过TCP/IP进行TDSQL数据采集，并将获得到的数据通过TCP/IP加载到Kafka；

- 部署pgmd和pgmcli监控队列状态，下游可以调用SDK接口查看队列状态以及控制队列启停。

替换OGG并在TDSQL上定制日切需求功能

- 原有情况：客户老核心的Oracle到下游大数据平台做数据同步用的是OGG，当初有个功能，目标是为了让下游保留一个完整的日切片的数据，实现的逻辑是，核心业务系统在判断某天所有交易结束后，往batchmid里面插入一条标记行，OGG在读取这个标记后，立刻触发停止同步的脚本，实现停止同步，从而保证下游得到一个完整的日切片。下游做相应的操作后，再手工把同步启动起来，OGG再从断点开始，继续做数据同步。 

- 现有需求： 在新核心里面，客户数据库切换到TDSQL，但仍然要保留这个功能，即要在DSG上实现这个功能。 

- 实现流程如下：同步任务根据调度表某条记录（业务产生），若当前有新的记录产生，就会自动停止同步，并记录同步时间点(scn)，等完成日报表对账等动作后，手工触发启动同步任务，这个时候需要按照停止的时间点(上一步骤scn)续上数据同步。

- 首次实现自动停止分析功能，达到客户日切需求。次日需对前一天数据进行结算，结算结束后通过SDK接口拉起队列进入实时状态，每日循环进行；

- 应对TDSQL主备切换数据同步连续性保障能力；

- 正常交易时间段延时不得高于2s。

- 白天正常业务期间延时在0-2s之间；

- 晚上跑批持续时间1.5小时左右，平均TPS 2W条交易，延时大概在3min以内。