文章/答案/技术大牛

发布

社区首页 >问答首页 >在使用Dask-ML时，如果内存使用量不断超出，该怎么办？

问在使用Dask-ML时，如果内存使用量不断超出，该怎么办？
EN

Stack Overflow用户

提问于 2020-05-28 08:38:46

回答 1查看 153关注 0票数 0

我正在使用Dask-ML来运行一些代码，这些代码在训练过程中使用了相当多的RAM内存。训练数据集本身并不大，但它是在训练期间使用相当多的RAM内存。即使我尝试对n_jobs使用不同的值，我仍然收到以下错误消息

distributed.nanny - WARNING - Worker exceeded 95% memory budget. Restarting

我能做什么?

Ps:我也试过使用Kaggle内核(它允许高达16 to的内存)，但这不起作用。所以我现在正在尝试Dask-ML。我还使用默认参数值连接到Dask集群，代码如下：

from dask.distributed import Client
import joblib

client = Client()

with joblib.parallel_backend('dask'):
    # My own codes

发布于 2020-05-28 09:33:59

Dask有一个关于帮助memory management的技术的详细页面。您可能还会对configuring spilling to disk Dask workers感兴趣。例如，更确切地说

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/62055093

复制

相似问题

问在使用Dask-ML时，如果内存使用量不断超出，该怎么办？EN