随着集群规模的增加，弹性MapReduce w/ AMI 3.1.0和Hadoop2.4.0上每个节点并发运行映射器的数量急剧下降
随着集群规模的增加，弹性MapReduce w/ AMI 3.1.0和Hadoop2.4.0上每个节点并发运行映射器的数量急剧下降
提问于 2014-08-10 13:31:01
在一个相关的问题(How to set the precise max number of concurrently running tasks per node in Hadoop 2.4.0 on Elastic MapReduce)中，我询问与纱线和MR2内存参数同时运行的映射器/减速器的数量相关的公式。结果表明，在弹性MapReduce上，当我的集群有2到10个c3.2x大节点时，上面提到的公式的变化可以正常工作，给出了每个节点7-9个同时运行映射程序；但是当c3.2xlarges的数量是20或40个时，我得到了集群的未充分利用:每个节点只有1-4个映射器运行。因为我的工作是CPU，这特别糟糕: MR2为我提供了MR1的_half_the性能。
为什么会发生这种情况？
回答 1
Stack Overflow用户
回答已采纳
发布于 2014-08-11 01:43:05
您将受到NameNode所能提供的限制。当增加任务节点时，您可以并且应该为NameNode指定一个更大的实例类型。MR1页面从未为c3s http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/TaskConfiguration.html更新过
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/25229082
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号