是否有任何spark配置参数可以调整，以减少驱动程序节点的内存消耗？
是否有任何spark配置参数可以调整，以减少驱动程序节点的内存消耗？
提问于 2020-02-27 06:38:07
是否有任何spark配置参数可以调整，以减少驱动程序节点的内存消耗？
我正在使用pyspark、scikit-learn和joblibspark在纱线集群上执行分布式超参数RandonSearchCV。看起来驱动程序节点的内存消耗大致等于所有工作节点的内存消耗总和。因为每个节点的内存消耗是有限的，所以驱动节点很快就会达到这个限制。
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-08-20 23:35:21
最后，我发现这个库joblibspark非常不适合这项工作，特别是如果你有一个很大的(在内存方面)特征矩阵。因此，我实现了对scikit-learn models原生pyspark功能的“从头开始”的随机搜索，这样我就不会在计算结束时在驱动节点收集整个结果。我发现pyspark中的pandas UDF特别有用。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/60423678
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号