AWS Glue ETL作业失败，返回AnalysisException: U‘’Unable to推断拼花面板的架构。必须手动指定。；‘
我正在尝试创建AWS Glue ETL Job，将数据从存储在S3中的拼图文件加载到红移表中。拼图文件是使用带有‘简单’文件模式选项的pandas编写到一个S3 bucked中的多个文件夹中的。布局如下所示：
S3://bucket/parquet_table/01/file_1.parket
S3://bucket/parquet_table/01/file_2.parket
S3://bucket/parquet_table/01/file_3.parket
S3://bucket/parquet_table/01/file_1.parket
S3://bucket/parquet_table/02/file_2.PARGET
S3://bucket/parquet_table/02/file_3.PARGET
我可以使用AWS Glue Crawler在AWS Glue Catalog中创建一个表，并且可以从Athena查询该表，但当我尝试创建将同一表复制到Redshift的ETL作业时，它不起作用。
如果我抓取单个文件或抓取一个文件夹中的多个文件，它就会工作，只要涉及多个文件夹，我就会收到上面提到的错误
AnalysisException: u'Unable to infer schema for Parquet. It must be specified manually.;'
如果我使用“hive”而不是“simple”模式，也会出现类似的问题。然后我们有多个文件夹，也有空的拼图文件，抛出
java.io.IOException: Could not read footer: java.lang.RuntimeException: xxx is not a Parquet file (too small)
当使用AWS Glue (ETL和数据目录)时，有关于如何读取拼图文件并在S3中构建它们的一些建议吗？
回答 2
Stack Overflow用户
发布于 2018-02-06 04:53:40
Redshift不支持拼接格式。红移光谱是这样的。雅典娜也支持拼花格式。
Stack Overflow用户
发布于 2019-04-24 00:30:58
您面临的错误是因为当从spark/glue读取s3中的地块文件时，它希望数据位于配置单元分区中，即分区名称应具有键-值对，您将拥有配置单元样式分区的s3层次结构，如下图所示
s3://your-bucket/parquet_table/id=1/file1.parquet
s3://your-bucket/parquet_table/id=2/file2.parquet
以此类推..
然后使用下面的路径读取bucket中的所有文件
位置: s3://your-bucket/parquet_table
如果s3中的数据以上述方式分区，您将不会面临任何问题。
https://stackoverflow.com/questions/47284160
复制相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号