文章/答案/技术大牛

发布

问np.concatenate内存错误
EN

Stack Overflow用户

提问于 2018-01-09 19:14:41

回答 1查看 6.1K关注 0票数 3

当我在iPython笔记本中运行流动的代码时：

_x = np.concatenate([_batches.next() for i in range(_batches.samples)])

我收到这条错误消息

---------------------------------------------------------------
MemoryError                   Traceback (most recent call last)
<ipython-input-14-313ecf2ea184> in <module>()
----> 1 _x = np.concatenate([_batches.next() for i in 
range(_batches.samples)])

MemoryError:

迭代器有9200个元素。

next(_batch)返回形状的np.array：(1,400,400，3)

我有30 GPU内存和16 GPU。

在Keras中使用predict_generator()时也有类似的问题。我运行以下代码：

bottleneck_features_train = bottleneck_model.predict_generator(batches, len(batches), verbose=1)

在使用verbose=1时，我可以看到进度指示器一直在运行，但是接下来我得到了以下错误：

2300/2300 [==============================] - 177s 77ms/step
---------------------------------------------------------------
MemoryError                   Traceback (most recent call last)
<ipython-input-19-d0e463f64f5a> in <module>()
----> 1 bottleneck_features_train = 
bottleneck_model.predict_generator(batches, len(batches), verbose=1)

~/anaconda3/lib/python3.6/site-packages/keras/legacy/interfaces.py in 
wrapper(*args, **kwargs)
     85                 warnings.warn('Update your `' + object_name +
     86                               '` call to the Keras 2 API: ' + 
signature, stacklevel=2)
---> 87             return func(*args, **kwargs)
     88         wrapper._original_function = func
     89         return wrapper

~/anaconda3/lib/python3.6/site-packages/keras/engine/training.py in 
predict_generator(self, generator, steps, max_queue_size, workers, 
use_multiprocessing, verbose)
   2345                 return all_outs[0][0]
   2346             else:
-> 2347                 return np.concatenate(all_outs[0])
   2348         if steps_done == 1:
   2349             return [out for out in all_outs]

MemoryError:

请您为这个内存问题提供一个解决方案好吗？谢谢!

python

numpy

tensorflow

keras

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-01-10 18:54:23

对于第一个错误，数据太大了。假设数据类型为int64或float64 (每个元素8个字节)，数据总数为9200*400*400*3*8字节，即35 ie。所有这些数据都是以块的形式收集的，然后通过连接复制到一个大数组中。

您可以预先分配数组，也许它会工作：

x_ = np.empty((9200,400,400,3))
for i in range(9200): 
    x_[i] = batches.next()

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/48175190

复制

相似问题

问np.concatenate内存错误
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问np.concatenate内存错误EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问np.concatenate内存错误
EN