Sqoop将数据导入到配置单元和hdfs
我们可以使用sqoop将数据导入到hdfs和配置单元中吗？我在root和admin命令下面用两个不同的用户(root和admin)尝试过
根部
sqoop import --connect jdbc:mysql://10.6.162.58/test_alpha --username pbd -P --table posts --hive-import --hive-database test_root --hive-table posts1 --hive-drop-import-delims --null-string '\\N' --null-non-string '\\N' --target-dir test_hive_root/2管理员
sqoop import --connect jdbc:mysql://10.6.162.58/test_alpha --username pbd -P --table posts --hive-import --hive-database test_admin --hive-table posts1 --hive-drop-import-delims --null-string '\\N' --null-non-string '\\N' --target-dir test_hive_admin/2它返回：
这两种方法都成功地将数据导入到配置单元，但都无法导入到HDFS。
对于root，它不会创建我定义的"test_hive_root/2“目录。
对于admin，它只是创建目录"test_hive_admin/2“，但只创建了”成功“文件，而不是数据(通常当我将其导入HDFS时，它会创建”成功“文件和4个以上的文件)
我该如何解决这个问题呢？sqoop可以导入到HDFS和Hive吗？
回答 2
Stack Overflow用户
发布于 2019-02-21 02:51:20
target-dir控制在加载到配置单元表之前需要临时存储数据的位置，但不会在该位置创建配置单元表。
表在hive-site.xml的hive.metastore.warehouse.dir属性中指定的目录中创建。
如果您想导入到特定目录，那么使用不带hive-import参数的target-dir，并在HDFS目录上创建hive表。
(或)
创建指向target-dir的配置单元外部表，然后在sqoop import中删除-- Create - Hive -table参数和--target-dir。
这里：https://community.hortonworks.com/questions/193934/sqoop-import-mssql-table-into-hdfs.html
Stack Overflow用户
发布于 2019-02-20 12:47:05
我希望您在给出--target-dir的路径时使用了/前缀
sqoop import --connect jdbc:mysql://10.6.162.58/test_alpha --username pbd -P --table posts --hive-import --hive-database test_root --hive-table posts1 --hive-drop-import-delims --null-string '\\N' --null-non-string '\\N' --target-dir /test_hive_root/2https://stackoverflow.com/questions/54760995
复制相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号