batch-size调优

Question

请问一下代码中的batch-size超参，是不是就是指视频中小批量梯度下降引入的新的超参：mini-batch size，在参数调优中，这个batch-size一般怎么调优

Answer 1

李超 2025-11-06 07:00:05

是的，就是mini batch size, batch_size大小的设置与你数据集的大小和GPU硬件有一定联系。 如果数据集比较大，batch_size 太小，GPU又比较差时，你训练的时间就会很长，可以能会训练好几周。 一般情况下batch_size 都设置成8的整数倍，但具体设置成多少是一个经验值，你训练的多了，在你的环境下你就能找到一个最佳值。其实所有的超参的设置都是这个道理，要根据你的环境找到最佳值，就是多次尝试，而不是别人告诉你应该填多少。

• 提问者 宝慕林2447538 #1

  在目前流行的算法框架中，我看到代码超参设置了batch size，同时也看到了选择Adam（或SGD）作为优化器，是否表明参数优化时可以同时使用多种优化方法

• 李超 回复 提问者 宝慕林2447538 #2

  这两个不是一回事，优化器是用于更新模型参数的，是从计算梯度的角度防止过拟合，批量是从数据的角度考虑防止过拟合

• 提问者 宝慕林2447538 #3

  非常感谢！