问从多个配置文件中触发加载设置
EN

Stack Overflow用户

提问于 2017-04-12 01:41:47

回答 1查看 3.1K关注 0票数 7

Spark从$SPARK_HOME/conf/spark-defaults.conf读取默认配置。

在使用(例如) --properties-file [FILE]时，还可以使用spark-submit命令行参数更改默认位置。

我想要做的是从文件中加载附加参数，而不必替换默认参数。也就是说，我希望spark从spark-defaults.conf加载属性，并从另一个文件加载更多属性。现在，如果在这两个文件中都定义了属性，我希望最后一个配置文件获胜。

？默认支持这一点吗？

回答已采纳

发布于 2017-04-12 02:13:52

tl；No.

正如星火文档中所描述的，下面是配置的优先顺序：

“直接设置在SparkConf上的属性具有最高优先级，然后是传递给星火提交或火花外壳的标志，然后是火花-defaults.conf文件中的选项。”

在此情况下，我将在驱动程序代码中使用台风声加载自定义配置文件，并设置直接在SparkConf上找到的任何内容。任何设置在那里将优先于任何以前的配置从其他地方。

票数 5

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/43358834

复制

相似问题

问从多个配置文件中触发加载设置EN