首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在星火中配置spark.io.compression.codec=lzf

如何在星火中配置spark.io.compression.codec=lzf
EN

Stack Overflow用户
提问于 2015-01-15 09:07:49
回答 2查看 4.4K关注 0票数 4

如何在星火中配置spark.io.compression.codec=lzf?

通常,我使用星星之交来运行我们的驱动类,如下所示

./ "spark.io.compression.codec=lzf“-提交--主火花://testserver:7077-class com.spark.test.SparkTest -conf com.spark.test.SparkTest /tmp/test/target/test.jar。

这样我就可以在命令中设置spark.io.compression.codec=lzf。但如果我不想用火花提交来运行我们的驾驶员类。我想在火花作业服务器上运行。如何在火花作业服务器中进行配置?谢谢我尝试在env变量中设置它。但不起作用。我也在下面试过。还是不起作用。

代码语言:javascript
复制
sparkConf = new SparkConf().setMaster("spark://testserver:7077").setAppName("Javasparksqltest").
set("spark.executor.memory", "8g").set("spark.io.compression.codec", "lzf");
EN

回答 2

Stack Overflow用户

发布于 2015-01-15 09:58:29

您可以将该选项传递给spark-submitspark-shell,方法是将其放入与之关联的conf/spark-defaults.conf中。详细信息在文档的配置部分中。

对于spark-jobserver,您可以配置给定的上下文,特别是如果它是作为从作业隐式创建的上下文发送的。有几种方法可以做到这一点(其要点是设置是在闪烁上下文设置下进行层次化的),但是Readme.md的“上下文配置”详细介绍了如何做到这一点:

https://github.com/spark-jobserver/spark-jobserver/blob/master/README.md

票数 0
EN

Stack Overflow用户

发布于 2016-05-02 10:32:09

使用完整的类名"org.apache.spark.io.LZFCompressionCodec“代替"lzf”

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/27959936

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档