spark关闭动态分配
spark关闭动态分配
提问于 2020-07-25 03:00:59
我想确保我的spark作业不会占用比我传递的内存更多的内存，假设400 do是该作业可以使用的最大内存，根据我的理解，关闭动态分配(spark.dynamicAllocation.enabled = false)并传递--num-executors --内存--驱动程序--内存在Cloudera栈中执行作业吗？如果错误，请改正。
是否有任何其他设置，我必须设置，以确保spark作业不会超出限制。
回答 1
Stack Overflow用户
回答已采纳
发布于 2021-03-11 05:51:02
在我的工作中发现了一个解决方案，Cloudera集群有一个特殊的纱线参数，它不会让作业超过必须关闭或重置的特定限制。
https://community.cloudera.com/t5/Support-Questions/Yarn-memory-allocation-utilization/td-p/216290
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/63079945
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号