温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
数据集成平台Miss Co多表全量同步到Doris您还在为Miss Co海量数据同步到Doris效率低下而困扰吗?今天All data数据中台告诉您,起步就可以实现高效的同步。这次我们进行多表全量同步,同步前我们先检查数据情况,通过控制台快速搜索account Apple customerlos的这四个数据表的数据情况,这里看到四个数据表分别有多少数据?现在我们去目标端查看同步前的数据情况,通过目标端控制台来查询原端四张数据表是否已存在,查询结果是空的表示目标端。
01:00
但没有这四个数据表,打开数据集成平台,创建多表全量同步,按部门或业务进行分类,方便后续管理,原端选择Miss Co, 目标端选择Doris,这里选择原端数据库,这里是系统默认设置了每次同步2000条数据,分批同步,直至同步完为止,这里选择多张数据表作为导入,选择批量设置,系统会按全量同步规则进行自动设置,部分数据表可能没有主键,需要手动设置进行完善。这里同。
02:00
不列,可以自定义建议全选字段,这样数据同步会更准确。设置完成后会提示表单设置成功,选择目标端数据库,这里开启自动建表,不用手动填写,省心省力,系统已自动进行表映射,下一步确认设置无误后即可提交任务。在数据同步任务中心打开创建的任务,在批量构建中开启同步任务,在管理中可以修改设置,记得每次更改完都要到最后一步点击更新进行保存修改。
03:00
返回批量构建中,查看运行结果状态显示成功即完成同步。返回数据源管理,查看目标端是否同步并建表。同步后先在k bos刷新数据,通过控制台查询4个表的同步结果,查询结果看到4个数据表跟原表数据一致,同步成功。至此,多表全量同步成功。
我来说两句