spark如何加载大于集群磁盘大小的输入文件？
spark如何加载大于集群磁盘大小的输入文件？
提问于 2018-02-25 04:03:51
我对Spark是个新手。我对spark加载输入数据的方式感到有点困惑。例如:假设我有一个1TB的文件，我有一个spark集群，每个集群有3个节点(4cpu、8 TB ram和10 TB磁盘空间)。那么spark是如何在这些节点之间划分数据的呢？它是只加载文件的元数据，还是尝试加载足够的元数据以适应集群并在迭代中处理文件？
回答 1
Stack Overflow用户
发布于 2018-02-25 04:23:11
文件存储在HDFS中，而不是spark中。
如果复制系数为3，您将需要3 TB的Hardisk。
请单击该链接以更好地了解http://bytepadding.com/big-data/spark/understanding-spark-through-map-reduce/
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/48967063
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号