随机梯度下降

Question

随机梯度下降，每次全部的θ都加减同一个梯度（乘以步长）？因为随机梯度求出的是一维。这样一直取能取到最优值吗，很疑惑？

Answer 1

liuyubobobo 2020-02-15 01:58:51

你对随机梯度的理解有误。

随机梯度下加法是随机取出某一行，把这一行（一个样本）当做全部样本计算梯度，用这个梯度指导 theta 的改变，这样计算的结果，不是所有 theta 加减同一个值。

至于随机梯度下降法的正确性讨论，可以参考这里：https://coding.imooc.com/learn/questiondetail/98263.html

继续加油！：）