火花生成昂贵的S3 API调用
火花生成昂贵的S3 API调用
提问于 2020-03-08 18:51:36
我有一个spark作业，它接收到~100 k文件的列表，并每10分钟调用一次。这些文件在s3中。这些路径看起来如下：
s3://<bucket>/<folder>/<file_name>文件的加载方式如下：
df = spark.read.option("mergeSchema", "true").schema(schema).parquet(*files)在幕后，spark似乎为每个文件创建了一个列表和HEAD API调用。这是相当浪费的，因为这些是文件，，而不是目录，并且由于作业的性质，保证存在。我看了一下星火代码库，看起来，这种行为是InMemoryFileIndex的一部分。是否有一种方法可以配置spark直接使获取调用并跳过列表/head调用？
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-03-24 19:08:09
这是相当浪费，因为这些是文件，而不是目录，并保证存在，因为工作的性质。
这里的问题是文件系统层不知道“作业的本质”，所以它有时会自己进行探测。
看起来InMemoryFileIndex.scala的效率也很低；除了HDFS的一些硬编码位外，它自己做树式的操作，并且似乎重新扫描了它刚刚列出的所有文件。
是的，正如开源项目所说的那样，还有改进的余地。但是他们也倾向于说“请提交补丁”
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/60590925
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号