问使用TensorFlow并行训练多个小批量的图形处理器

EN

我使用的是NVIDIA GPU上的TensorFlow 1.9，内存为3 GB。我的小批量的大小是100MB。因此，我可能会同时在我的GPU上安装多个迷你批次。所以我的问题是，这是否可能，这是否是标准做法。

例如，当我训练我的TensorFlow模型时，我在每个时期运行类似这样的东西：

loss_sum = 0
for batch_num in range(num_batches):
    batch_inputs = get_batch_inputs()
    batch_labels = get_batch_labels()
    batch_loss, _ = sess.run([loss_op, train_op], feed_dict={inputs: batch_inputs, labels: batch_labels})
    loss_sum += batch_loss
loss = batch_loss / num_batches

这将迭代我的小批处理，并对每个小批处理执行一次权重更新。但是image_data和label_data的大小只有100MB，所以大部分的GPU都没有被使用。

一种选择是只增加小批量大小，以便小批量更接近3 GB GPU容量。但是，我希望保持相同的小批量大小，以帮助优化。

因此，另一种选择可能是通过GPU并行发送多个小批量，并对每个小批量执行一次权重更新。能够并行发送小批量将显著减少训练时间。

这是可能的和推荐的吗？