根据this AWS documentation的说法,亚马逊S3在清单文件中似乎不支持拼图格式,但我发现这很难相信,因为这是一种非常常见的文件格式,据我所知,对于雅典娜/红移来说,你应该使用拼图格式。这是另一篇文档,它引用了与Redshift和https://docs.aws.amazon.com/redshift/latest/dg/loading-data-files-using-manifest.html文件格式相关的S3清单文件,但我不太确定它到底是什么意思。
我只是想在亚马逊QuickSight中使用我的S3存储桶中的一些拼图文件创建一个数据集。我尝试在我的清单中省略globalUploadSettings字段,并且能够拉入数据,但是QuickSight不知道它是什么类型的文件,所以它只显示带有一串�字符的信息。
我目前拥有的清单:
{
"fileLocations": [
{
"URIPrefixes": [
"https://s3.amazonaws.com/myBucket/myFolderWithData/"
]
}
]
}发布于 2020-10-16 04:19:19
AWS S3在清单文件中不支持parquet格式,但您可以使用雅典娜作为数据集来支持parquet格式。
导入文件数据
您可以使用亚马逊S3或本地(本地)网络中的文件作为数据源。QuickSight支持以下格式的文件:
CSV and TSV – Comma-delimited and tab-delimited text files
ELF and CLF – Extended and common log format files
JSON – Flat or semistructured data files
XLSX – Microsoft Excel filesQuickSight支持UTF-8文件编码,但不支持UTF-8 (带物料清单)。
亚马逊S3中使用zip或gzip (www.gzip.org )压缩的文件可以按原样导入。如果您对亚马逊S3中的文件使用了其他压缩程序,或者如果文件位于您的本地网络上,请在导入它们之前删除压缩。
https://docs.aws.amazon.com/quicksight/latest/user/supported-data-sources.html
https://stackoverflow.com/questions/57048192
复制相似问题