【数据同步平台】Kafka单表实时同步至 Doris 实战操作！原创

数据同步平台kafka单表实时同步到Doris您还在因为数据同步延迟又繁琐的问题而烦恼？All data数据中台告诉您，实时同步其实几步就搞定。同步前先查看目标端数据情况，目标表显示有表，但是没有数据。现在前往数据同步平台创建单表实时同步任务。同步前依旧老规矩，先检查数据源连接情况，这里通过CF卡同步的方式需要创建虚拟表，这里填写虚拟表的名称和用哪个数据源，注意的是这里的表名需要跟目标表一致。

这里填写主题名称，系统会根据这个主题名去CF卡里找到对应的数据。这里填写表结构，注意需要跟原表的字段结构一致，填写完成会是这个样子的。这个步骤是为了让系统知道COP car里的哪个字段对应Doris目标表的哪个字段，从而把数据准确的写进去。下一步检查无误后点击确定即可。接下来开始创建实时同步任务，点击创建填写同步任务的基本信息。业务模式选择数据集成。这里选择source组件拖拽到操作区并进行设置。这里设置单表同步和从哪里读取数据表信息。这里设置了从咖啡。

卡的哪个位置开始读数据，这里设置让卡F卡根据这个名字记录这个组消费到了哪里，方便断点续传。设置完成后，检查数据表输入和输出结构是否一致。选择Thinkink组件拖拽到操作区并按source到sink顺序连接，然后进行设置，这里设置了将数据怎么读取和写入到目标端哪个数据表里，设置完成后，检查数据表输出结构是否正确。在工作模式中选择实时模式，然后点击保存，完成创建。接下来将数据生成至CF卡中。第一步先。

连接上cfka服务器，这里如果没有设置免密登录，则需要填写登录密码。第二步，运行脚本，这里将数据生产到KA卡里已完成，现在前往同步任务列表中启动任务。任务启动后，Kafk会将数据同步到Doris中，并在同步任务列表中找到创建的实时同步任务，点击运行开启同步。这里同步中由于CF卡是消息流，没有行数概念，所以在同步实例中不显示读取条数，判断是否成功，直接去Doris查表就行。直接打开目标端并刷新数据表，这里显示目标表已经写入了Coca的数据，当有新数据产生时，只需重复操作将数据写入到Co。

卡里的步骤，新数据会实时同步到Doris中，接下来重复一次操作，将新的数据生产到kaf卡中。这里可以看到将三条新数据生产到CF卡里了，已成功将数据生产到CF卡中，现在直接在目标端查看数据，目标端刷新数据表后，显示已写入了Coca的三条新数据，数据更新为28条。至此，单表实时同步成功。通过CF卡进行同步的优点，卡卡就像一条高吞吐可回放的传送带，数据在上面流动，下游如dores，随时可取，既能批量同步，也能秒级实时同步。分区机制保证数据按顺序处理，一元多用，避免重复读取Miss code, 减轻圆库压力。

适合以下业务场景。