损失函数前面的系数

Question

理论上来说损失函数前面的系数只要符号不变其大小并不影响他的最小值吧，因为线性回归目标函数是二次的，系数仅仅影响开口大小，为什么要讨论前面系数呢？没搞明白

Answer 1

liuyubobobo 2020-09-21 15:02:41

影响。

在梯度下降法中，损失函数本质就是一个高维度的二次多项式（多元二次多项式）。

以最简单的一元二次多项式为例，ax^2 + bx + c 的极值点是 (4ac-b²)/4a，是由系数决定的。

继续加油！：）

• 提问者 秦宝宝是我最爱的宝宝 #1

  如果影响，为什么能在损失函数前面加系数啊，加了系数就不是这个问题的损失函数了吧？而且还有加1/2m的，这个系数能随意换啊？

• liuyubobobo 回复 提问者 秦宝宝是我最爱的宝宝 #2

  所有的系数同时扩大 k 倍，最小值不变。在上面的一元二次函数的例子中，把 a, b, c 都乘以 k，变成 ka, kb, kc，看看结果会怎样？
  本质是，把所有系数都乘以 k 倍，我们还是能约去这个 k，整个函数的形状不发生改变。这不仅仅是在二次函数中，所有函数都是如此。比如直线方程，所有系数都扩大 k 倍，直线不改变。

• 提问者 秦宝宝是我最爱的宝宝 回复 liuyubobobo #3

  老师，你举的例子我明白。但把损失函数直接加系数，还能是这个问题的损失函数吗？我不太理解。。。我知道你肯定是对的，但我不知道我哪里理解有问题。。
  如果把预测值和目标值的差看作一个整体进行平方再累加，那么是不是前面的系数就无关紧要了。

点开查看后面1条评论