温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
数据集成平台Miss call实时CDC同步到Doris如果您还在为手动更新数据这样繁琐流程而烦恼,今天all data带您体验实时CDC同步的便捷高效。同步前先检查原端和目标端数据情况,这次需要进行这三个数据表的实时CDC同步,Testlo, 这个表有9调数据,Test poer, 这个表有9条数据,Tester这个表有9条数据。现在查看目标端是否已有这三个数据表,这里通过控制台进行整库查询,这里查询结果显示只有这两个数据表,缺少的这个数据表需进行全量同步键表。
01:00
现在打开数据集成平台,先进行全量同步,创建test load数据表到目标端中,Miss call全量同步到Doris。详细操作请前往杭州奥林数据科技视频号可查看详细介绍教程。创建时候注意,这两个表虽已在目标端,但仍需加入全量任务才能让三张表共用同一个实时通道。同步完成后返回数据源管理刷新,查看是否成功同步并建表,这里可以看到已成功同步并建表,并且另外两张表也全量同步了。现在打开任务,进行创建实时CDC同步通道,这里选择运行实时CDC的引擎,这里选择用哪个集群运行,指同步从现在开始新产生的新数据,这里不单独为这个任务。
02:00
不开一条新的通道,减少资源占用。Norris, 这里每条数据至少处理一次,可能会有重复,但不会丢失。这个是数量触发,满5000条才同步一次,这个是时间触发,每10秒就同步一次。这里有双重触发,满足任意一个就执行写入。这里是系统自动生成,直接下一步部署即可。进入Flink控制台进行查看实时通道显示运行中,这里返回数据源管理,进行实时同步操作。在Test数据库的控制台里,一次性给三个源端数据表进行添加数据。
03:00
这里显示三个结果都增加了一条数据,打开原端每个数据表,查看添加数据后的数量。现在查看目标端是否实时同步了原端的新数据。这里点开3个表,查看数据与实时同步,数量跟原表一致。至此,多表实时CDC同步成功。
我来说两句