关于batch size的问题

Question

问题描述：
在反向传播的过程中，batchsize 设置为 8 是进行8次反向传播，还是进行一次。
CycleGan 的训练中batchsize一般设置为多少比较好（如果显存够大）

Answer 1

正十七 2020-07-07 21:25:25

batch在一起就是矩阵操作，所以反向传播还是1次。

batch_size设多大是一个open question, 在很多case中比如BigGAN，用更大的batch_size会有更好的效果，但是在CycleGAN中并没有这样的结论。所以就一个中等的batch_size我觉得就可以，比如64, 128这样的。

• 提问者 DATUONIAO #1

  非常感谢！