00:00
数据库同步平台ocean base同步到Doris字段增量轻量同步您还在手动维护数据同步的自增数据吗?今天All data数据中台这个操作让你彻底放手,轻松几步即可高效完成。先看看同步前原端的数据表情况,在这里展开下拉选项,找到ocean base的数据源,这里显示原端两个数据表各有15条数据。现在看看同步前的目标端数据表情况,在展开下拉选项中找到Doris的数据源,目标端中显示现在是没有数据表的。打开数据库同步平台,准备创建同步任务创建。
01:00
填需要先准备好数据源连接,如果没有添加数据源的话,点击创建数据源进行添加。原端选择ocean,目标端选择DOS,这里填写ocean base数据源的基本信息,填写完成后,这样的目标端填写完是这个样子的。记得源端和目标端都要进行连接测试,数据源能正常连接任务才不会出错。下一步打开任务管理,开始创建同步任务,这里先填写任务基本信息,这里选择再从哪个数据库中读取哪些数据表。
02:00
这里是字段自增设置,在需要同步的数据表里的字段中选择一个或多个字段作为增量标识。这里增量标识字段是给系统识别哪些是新增数据的字段选择需要有唯一性和单调递增属性。这里设置了数据同步到目标端哪个数据库中,这个是只写入数据,需要先有表,这个是只创建表单,不同步数据,这个是选择建表并同步数据的模式,这里建议选择这个模式进行同步,这里系统已经自动进行映射配置。
03:00
需要更改映射,可以点击添加表明映射进行手动更改,更改完后点击预览,这里显示更改后目标端表明映射也会更改,检查同步设置无误后点击提交即可完成。创建完成后,在任务列表中可以预览任务的原端和目标端信息,这里需要手动执行同步任务,执行成功后,可以在日志中查看同步详情,可以精确的看到两个表都读取了多少条,写入了多少条,返回目标端进行校验同步结果。
04:00
目标端已创建account表并同步了15条数据,Customers表也创建并同步了15条数据,现在给原表新增数据进行增量同步,这里显示原表2个,数据表多个,新增了3条数据返回。数据库同步平台在执行一次同步任务,在同步日志中显示这次同步的是3条新增数据返回数据源管理查看增量同步结果,在目标端中看到已同步了新增数据,是此字段自增同步成功。数据库同步平台的核心优势在于数据库同步平台基于开源BBS Switch构建,专注数据库间精准迁移,其字段级增量不依赖数据库日志。
05:00
实现更清亮,尤其适合未开启或无法开启CDC的数据库环境,支持主流及国产易购数据库互相同步,低成本实现数据入湖入仓。推荐以下业务场景使用。
我来说两句