对随机梯度下降的想法

Question

老师，我读了其他的问题

对于随机梯度下降，我的理解是，如果使用正常梯度下降的话，是根据所有数据来计算总体的梯度，保证反方向的梯度一定是朝着J(θ)最小值方向前进的

但是对于随机梯度下降法的话，每次取一组随机的数据计算梯度，这个随机数据的某些特性可能不符合总体梯度的方向，甚至所有特性都不符合总体梯度的方向（完全朝着J(θ)最小值方向的反方向前进的），因此导致这张题上的运动规律

但是相比较来说，如果大体的数据如果符合线性回归，说明大部分的数据的特征都是符合总体梯度的方向，如果迭代的数量足够大的时候，大部分的随机数据都是朝着J(θ)最小值方向的，J(θ)总会下降到最低的点。

我这样的理解对吗？

我读了https://coding.imooc.com/learn/questiondetail/98263.html这个问题，你说的“如果深入这个问题，就会明白。其实收敛性从来不是算法的性质，而是函数的性质。” 意思是看函数是否可以用线性回归解吗？存在某些函数可以用梯度下降，但是不能用随机梯度下降的方式解决嘛？

Answer 1

liuyubobobo 2020-07-08 16:03:43

1

理解的正确。甚至不仅仅符合线性回归，很多函数不是线性回归的方式，随机下降法都是有效的。

2

我认为这个理解是正确的：存在某些函数可以用梯度下降法，但不能用随机梯度下降法。如果要保证随机梯度下降法有效，函数需要满足一定的性质。

不过，据我所知，机器学习的常规算法中，大多数最优函数的求解，随机下降法都是有效的。至少我不知道哪种算法不能使用随机下降法。甚至随机下降法得到的解更优。

不过这背后的数学原理，超出我的能力范围了。

继续加油！：）

• 提问者 BigNoPoint #1

  非常感谢！

• 提问者 BigNoPoint #2

  等我再多学几种算法之后，再来想这个问题吧，谢谢！

Answer 2

皓哥卷起来 2020-12-05 23:30:11

感觉跟数据是不是符合线性的没太大关系，如果数据杂乱无章，套用线性模型再用随机梯度下降求解，也是可以收敛的。原因是线性模型用的MSE这个loss是强凸的。

随机梯度下降能下降的原因是这些随机梯度求期望是整体的梯度，而整体的梯度是下降方向。就好像玩一个数学期望是正的赌博游戏，偶尔输一段时间没关系，一直玩总能赢钱的。

• liuyubobobo #1

  是的，和数据没关系，和 loss 有关系，就是在我的回答中一直强调的“函数”：）