局部最小值和MSE

Question

波波老师好，就是 MSE 它不是一个凸函数吗？凸函数的话只有一个最优解吧…

所有回归的损失函数不都是用MSE作为目标函数的么？

那为什么会说会再gradient descent 的时候出现局部最小值的情况呢？

Answer 1

liuyubobobo 2019-04-18 11:28:05

对于逻辑回归和线性回归，损失函数肯定是只有一个最优解的，所以在逻辑回归和线性回归中，使用梯度下降法得到的结果一定也是最优解。

但是，梯度下降法是一种通用的寻找最小值的方法，并不是只有在凸函数中才能使用的。对于更复杂的方法，我们的损失函数可能不是一个凸函数，也能使用梯度下降法，但在此时，梯度下降法有可能陷入局部最优解，而非全局最优解：）

继续加油！：）

• 提问者 uuugggd #1

  那我们现在学习的所有算法，是不是暂时都还不涉及局部最小值问题？

• liuyubobobo 回复 提问者 uuugggd #2

  不涉及：）

• 提问者 uuugggd 回复 liuyubobobo #3

  好的谢谢~