文章/答案/技术大牛

发布

社区首页 >问答首页 >火花: MEMORY_ONLY_SER_2 -奇怪的记忆行为

问火花: MEMORY_ONLY_SER_2 -奇怪的记忆行为
EN

Stack Overflow用户

提问于 2015-12-06 05:13:03

回答 1查看 1.2K关注 0票数 2

我使用storageLevel = MEMORY_ONLY_SER_2存储一个RDD，以防一个执行器丢失了另一个数据副本。

然后我发现了一些奇怪的东西：

当我使用= MEMORY_ONLY_SER (1xReplated)时，2xReplicRDD的内存中的storageLevel大小似乎是相同的。
即使我还有很多存储内存，但缓存的分数不能达到100%。

我是否正确地理解了storageLevel = MEMORY_ONLY_SER_2？为什么2xReplated内存中的大小不是1xReplated内存的两倍？谢谢!

memory

apache-spark

persist

scala

回答 1

Stack Overflow用户

发布于 2015-12-08 05:57:08

我猜可能您缓存的所有内存都被使用了，所以不管您使用了多少次复制。

我不知道为每个执行器分配了多少内存，如果您分配了很多，可以增加spark.storage.memoryFraction的值，默认值是0.6。

如果只是为了验证MEMORY_ONLY_SER_2的成本是否是MEMORY_ONLY_SER的两倍，则可以使用小型数据集。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/34114307

复制

相似问题

问火花: MEMORY_ONLY_SER_2 -奇怪的记忆行为
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问火花: MEMORY_ONLY_SER_2 -奇怪的记忆行为EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问火花: MEMORY_ONLY_SER_2 -奇怪的记忆行为
EN