温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
数据集成平台人大金仓数据全量同步到Doris您还在为数据库同步配置复杂、兼容性差、同步慢而易报错烦恼吗?今天All data数据中台告诉您,一键实现全量同步,简单高效,零代码解决您的烦恼。先来检查下原端和目标端数据同步情况,如果不清楚需要找的数据表在哪个数据库中,您可以在不选中数据库状态下,通过控制台用SQL语句搜索这个数据源,直接搜索数据表属于哪个数据库和哪个模式下,点击执行开始查找得到数据表所在位置。现在我们打开原表查看数据情况,原表显示6条。
01:00
调数据,用同样的方法找到目标表查看情况,目标表有字段,但是没有数据。打开数据集成平台,在数据同步任务管理中创建全量同步任务,这里将同步任务按所属的业务分类,后续管理更便捷。选择金仓作为原端类型,目标端选择Doris选择金仓类型的数据库,这里split PK设置的是单线程读取,适合数据量不大的场景。
02:00
这里默认设置的是一次同步2000条,分批次同步,直到同步完所有数据。选择需要同步的源端数据表,点击批量设置,系统会自动完成设置,无需手动选择目标表的位置。写入与主键重复需保留最新版本,选unique模式,要按写入顺序原样存明细,不去重,不聚合,选duplic cut模式,这里系统已经自动映射完成表关系没问题后,点击创建即可提交任务。在数据任务同步列表中找到创建的同步任务,这里可以修改数据表设置。
03:00
在批量构建中运行同步任务,点击触发构建开始同步,同步状态显示成功。打开数据源管理,进行校验,同步结果原表数据是6条,目标表数据已经同步写入6条,至此,全量同步成功。
我来说两句