【数据集成平台】Hive增量分区同步至Doris 实战操作！原创

数据集成平台hi增量分区同步到Doris，您还在为数据的更新补录繁琐困难而烦恼？All data数据中台告诉您，增量分区同步只需要几步即可轻松搞定。同步前先检查源端和目标端数据情况，本次操作以日期PT为分区，可以通过控制台对整个数据表查询有多少个日期分区，这里看到分区有4个当前数据表，最新日期分区是5月1日，通过SQL语句具体查询5月1日有多少条数据，通过精确查询得到5月1日分区数据是588条。

目标端已有字段格式一致的空数据表，在创建同步任务时候就不用开启自动建表，在数据集成平台中创建增量分区同步任务创建时按所属部门或业务信息分类管理，更方便选择原端和目标端数据库类型，这里选择原表位置和需要同步的文件格式。这里设置了同步数据表中最新日期的分区数据，如需同步其他分区，可以进行修改，如更改成同步4月28日分区的数据PT=2026年4月28日，如果将设置分区为off，则关闭。

一分区进行全量同步，选择需要读取的原表，对选择的表进行主键和同步自断列的设置，选定目标数据库，下一步系统会自动映射表，确认无误后点创建提交任务，在任务列表打开任务进行同步操作，这里可以对同步任务进行修改设置。在批量构建中开启数据同步，同步状态显示成功，同步成功在主控台成功次数会增加一次，前往数据源管理校验数据同步情况。

原表最新分区依然是588条，目标表同步了原表最新日期分区为5月1日的588条数据。至此，增量分区同步成功。