【数据集成平台】Kafka实时增量同步至 Doris 实战操作！原创

数据集成平台kafka实时增量同步到Doris您还在为海量实时数据同步卡顿号时发愁吗？今天All data带您体验无缝增量对接，低成本实现kafka数据植入doras同步前，先检查目标端数据情况，当前目标端没有该数据表。在数据集成平台中创建cfca实时同步任务第一步，填写基本信息和选择源端目标端的数据库类型。第二步，配置源端数据库设置怎样获取数据？这里选择需要读取的原表位置，这里设置订阅方式是按主题进行，这里让目标端去卡夫卡那里读取主题是。

Users的数据，这里是把kaf卡读到的数据放到这里，这个ID名称用来记录消费进度，实现断点续传和负载均衡。设置完成后需要校验检查是否能连接，这里需要临时填一个已知存在的主题来进行测试连通性。选择导入的表单，这里设置主键。第三步配置目标端数据库并开启自动建表，下一步系统自动进行表映射，点击创建提交即可。现在开通实时同步通道，这里先选择运行的引擎和运行的集群，这里没有特殊情况，保持默认设置即可。这是系统自动生成，直接部署即可显示部署完成。

进入控制台查看通道运行情况，这里显示的kafka同步到Doris通道是运行中的，现在返回数据源管理进行实时同步。先查看Miss col源端的数据，这里显示原端有5条数据在kaf car添加数据同步到Doris，这里需要配置免密登录，直接输入服务器名称进行远程连接，这里输入执行脚本，执行生产数据到kaf卡，这样就执行完成了。现在查看目标端Doris同步后的数据情况，目标端已通过自动建表成功，打开数据表查看已同步。

的原表的5条数据，当原表有增量时，这里原表新增了2条数据，只需要在CF卡中进行实时同步操作，然后在目标端中刷新数据后查看增量同步结果。目标端这里显示了已经同步了2条新数据。至此，F卡实时同步成功。通过Kafka同步到Doris的好处，既能缓冲流量高峰，避免系统崩溃，又支持数据同放，不怕丢失，还能让一份数据同时服务多个下游，省心又高效。如果您的业务有交易流水@上报、CDC实时变更、跨云汇总及维表变更流均适合该方案。