【笔记】梯度其实关键的是方向，所以梯度不应该和特征数目有关

Question

本来方向导数之类都忘了，到网上找了一些文章，后来感觉似乎没必要硬扣，理解梯度是偏导数向量会计算应该足够了，硬扣又要花莫名其妙的时间。

梯度主要是提供一个下降来逼近到最小值点，所以应该大小不重要，所以不要太大，这样步长就太大了。

Answer 1

liuyubobobo 2018-02-12 03:43:43

非常对！梯度的方向更重要！

• 路灯捶背三百一位 #1

  最后那里， J的偏导 除以 2m ，相当于在各个维度上除以2m， 各个维度上的偏导的值会变小，但是 由于所有维度都放缩了2m 倍，所以梯度方向不变，从某种意义上理解 只是减小了 eta 学习率，这么理解对吗

• liuyubobobo 回复 路灯捶背三百一位 #2

  对。实际上，即使这样，很多时候也会梯度的模过大。所以，完全可以每次对梯度做一遍标准化，求梯度的单位向量。我们只对梯度的方向感兴趣。