温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
数据库同步平台单帧同步到Doris,支持字段及增量您是否还在为数据延迟、丢失、重复而导致业务推进举步维艰?今天All贝ta数据中台将带您体验一种全新的同步模式,让数据同步像收发消息一样简单高效。先打开数据库同步平台进行校验,数据连接是否正常,如果当前没有数据,点击创建数据源进行添加,源端选择单帧,目标端选择doras,目标端按这个填写,原端按这个填写,填写完成记得点击测试进行连接校验。打开数据导航,查看原表同步前的数据情况,通过字段信息和取样数据快速确定数据表。
01:00
快速预览中看到数据时间都是2026年4月的,本次同步的原表是生产执行系统表、企业资源计划系统表和监控与数据采集系统表这三个数据表。现在通过SQL查询这三个表的数据各是多少条?这里可以看到三个源表都各有10条数据。现在到数据源管理中全局查找这三个表是否存在,这里通过控制台全局查询后显示结果为空。目标端同步前没有这三个数据表,返回数据库同步平台创建同步任务,先填写同步任务名称,然后进行源端配置,这里设置读取原端哪些数据表,这里将需要。
02:00
同步的数据表都进行设置增量字段给系统识别是否有增量。下一步进行目标端配置,这里设置将数据写入哪个数据库中。由于目标端没有数据表,需要先建表并同步的模式在表映射,这里系统已经自动映射表和字段关系,无需修改,直接下一步点击提交即可完成创建。在任务列表中手动启动刚创建的任务,然后点击执行开始同步。在任务日志中清晰看到本次同步三个表各读取了多少条数据。现在打开数据源管理到目标端中校验表是否创建并同步成功。这里通过SQL查询结果看到已经创建3个数据表,打开其中一个数。
03:00
表可以看到字段结构和数据量都跟原表一致,现在返回原表查看同步后是否有新增数据。查询看到三个表各增加了新数据,通过SQL查看每个表的新数据详细,这里看到每个表的新增数据情况都是新增了2026年5月份的数据。在任务管理中再手动执行一次同步任务,在日志中看到这次同步的通过增量字段识别到的新数据,上一次同步过的数据不会重复读取。打开数据源管理,查看第二次新增同步详细,打开数据表,看到第二次新增的数据也同步成功。这里通过控制台对三个表进行。
04:00
评分区查看同步数量,这里可以详细看到每个表的4月和5月分区每个同步了多少数据。至此,字段自增同步成功。
我来说两句