如何在星火中配置spark.io.compression.codec=lzf?
通常,我使用星星之交来运行我们的驱动类,如下所示
./ "spark.io.compression.codec=lzf“-提交--主火花://testserver:7077-class com.spark.test.SparkTest -conf com.spark.test.SparkTest /tmp/test/target/test.jar。
这样我就可以在命令中设置spark.io.compression.codec=lzf。但如果我不想用火花提交来运行我们的驾驶员类。我想在火花作业服务器上运行。如何在火花作业服务器中进行配置?谢谢我尝试在env变量中设置它。但不起作用。我也在下面试过。还是不起作用。
sparkConf = new SparkConf().setMaster("spark://testserver:7077").setAppName("Javasparksqltest").
set("spark.executor.memory", "8g").set("spark.io.compression.codec", "lzf");发布于 2015-01-15 09:58:29
您可以将该选项传递给spark-submit或spark-shell,方法是将其放入与之关联的conf/spark-defaults.conf中。详细信息在文档的配置部分中。
对于spark-jobserver,您可以配置给定的上下文,特别是如果它是作为从作业隐式创建的上下文发送的。有几种方法可以做到这一点(其要点是设置是在闪烁上下文设置下进行层次化的),但是Readme.md的“上下文配置”详细介绍了如何做到这一点:
https://github.com/spark-jobserver/spark-jobserver/blob/master/README.md
发布于 2016-05-02 10:32:09
使用完整的类名"org.apache.spark.io.LZFCompressionCodec“代替"lzf”
https://stackoverflow.com/questions/27959936
复制相似问题