为什么小批量随机比随机会更接近真实梯度？
感觉都是随机，本质都是求sigma()/m的近似值，是不是说，现在有100个随机数，求得其平均值m，任取其中10个数求得其平均值，比任取一个数作为平均值，要更接近真实平均值m？这个是什么规律吗？
571
收起
正在回答
1回答
liuyubobobo
2018-02-15 01:23:30
当然啦。最准确的梯度是使用100个样本，随机梯度只使用1个样本。我现在使用10个样本，介乎两者之间：）
0
有任何疑惑可以回复我~
相似问题
关于小批量梯度下降算法与改进之后的随机梯度下降算法
913
0
3
两种梯度下降法的速度比较
1494
0
5
该怎么理解随机梯度必然会下降这个操作？
1553
2
4
随机梯度下降法
1056
1
5
登录后可查看更多问答，登录/注册
