【数据同步平台】Hive离线同步 至 Doris 实战操作！原创

数据同步平台hi离线同步到Doris，您还在为数据同步流程繁杂又耗时低效的困扰吗？All data告诉您，轻松一键同步，其实操作可以简单又快速。同步前查看原端和目标端的数据情况，原表显示有20条数据，现在查看同步前的目标端数据情况，目标端显示已有数据表，但是没有数据。打开数据同步平台，创建单表离线同步任务。同步前还是先检查数据源是否能正常连接，确认数据源连接没问题后，开始创建单表离线同步任务。进行单表同步需要选择数据集成模式。

在操作组件中选择source拖拽到操作区中，双击打开设置，这里设置场景模式是单表同步，这里设置具体读取的是哪个数据库，设置完成后检查数据模型。单表同步可以自定义同步字段，如果输入表减少字段，输出表字段也会同步更改。完成Source设置后，选择组件thinkk到操作区中进行连接和设置，这里连接顺序是从source到thinkk，这里是设置将数据写入具体哪个数据表中，以及怎样连接和怎样读取数据。这里数据保存模式选择不管。

数据是否重步都直接写入，如果需要每次同步都清空数据表，重新同步所有数据，可以选择drop data模式表结构模式，这里选择，如果不存在表就先创建再同步。有其他数据处理需求，也可以在source和sink中间添加组件，如添加SQL组件，数据在原端，数据读取后，下一步到SQL语句进行处理，最后写入目标端，这里选择批量模式，任务跑一次就把数据搬完，然后自动停止，点击保存即可完成创建。在列表中找到单表离线同步任务，点击运行开启同步，运行后在同步任务实例中查看详。

情在根据任务类型在离线同步中点击查看详细，这里可以随时暂停和恢复运行。在详情里可以清晰看到数据读取和写入数据量，这里显示读取和写入数据一致，没有丢失。在通道运行实例中可以查看读取和处理数据情况。现在返回数据源管理中查看目标端同步情况，目标端刷新后显示已写入数据20条。由于任务目标端设置的是append data, 这里如果在运行一次单表离线同步任务会再重复写入一次数据。

重复运行后，数据追加了20条，数量正确。至此，单表离线同步成功。这个单表离线同步跟数据集成管理中的单表同步区别，数据集成管理的单表同步向数据搬运工专注、高效、稳定的把数据原样搬走，核心是传输能力，这里的像数据处理工程师既能搬数据，也能在搬运过程中做清洗、转换、加工，核心是计算能力，适合的业务场景报表提速简化。