随机梯度下降法的随机究竟体现在哪里？

Question

bobo老师好，我想请教一个问题，随机梯度下降法的随机究竟体现在哪里？我理解stochastic应该指一种过程上的随机，光取随机一个样本是随机的本质吗？如果是的话，不就是random吗？谢谢！

Answer 1

liuyubobobo 2018-10-17 22:52:14

梯度下降法，每次搜索的方向，应该是梯度的反方向。梯度的方向，应该是根据所有样本计算出来的。

而随机梯度下降法，每次搜索的方向，只是根据某一个随机样本计算出来的，所以，这个梯度也就具有一定的随机性。即在随机梯度下降法中，每次搜索的方向不是梯度的反方向！其实是一个随机方向。但他不完全是random的方向，是根据一个随机样本计算出的方向，所以叫做随机梯度，而不是随机搜索：）

• Fastpengmi #1

  bobo老师，那请问既然搜索的方向不是梯度的反方向，是一个随机的搜索方向，那怎么保证在循环了我们设定的次数以后，是收敛到接近谷底的呢？ 不会任意游走吗？ 我就一直没有想明白这个点TT

• liuyubobobo 回复 Fastpengmi #2

  可以参考这里：https://coding.imooc.com/learn/questiondetail/98263.html 继续加油！：）

• Fastpengmi 回复 liuyubobobo #3

  好的！谢谢！