回归问题

Question

老师，回归问题的损失函数都可以用（y-y_hat）^2在求和这样来表示吗？还是说必须要有线性关系的问题才能这样写？
还有这个这个平方是不是可以换成4次方或者任意偶数次方？

Answer 1

liuyubobobo 2020-09-23 12:18:23

1

是的，回归问题的损失函数都可以用（y-y_hat）^2 来表示，不需要只有线性回归才可以这样。这是一个指标，叫做 MSE，即 Mean Square Error，课程中有介绍。只不过不同的算法，y_hat 的求法不一样。

但不是回归问题的损失函数只有这一个。见下分析。

2

这个平方可以换成四次方或者其他偶数次方。

但是：

1）求解更复杂；

2）其实并不能通过这种方式获得更好的解

实际上，除了 MSE 之外，确实还有其他的损失函数的定义。对于一个算法，选择怎样的损失函数进行求解也可以看做是一种超参数。在 scikit-learn 中，很多算法拥有这个参数选择，通常这个参数被称为是 loss。

比如另一种常见的损失函数是 MAE，课程中也有介绍。但因为 MAE 不容易计算，所以不常用。但如果一定要计算，也是能求解的。

这里有一篇文章，比较了对于不同数据，使用不同的损失函数，得到的结果的差异，有兴趣可以看看。

http://rishy.github.io/ml/2015/07/28/l1-vs-l2-loss/

继续加油！：）

• 提问者 秦宝宝是我最爱的宝宝 #1

  非常感谢！

• 提问者 秦宝宝是我最爱的宝宝 #2

  明白了，对于任何回归问题都能用MSE这个公式套进来进行解决，而最小二乘法仅仅是一个数学方法来进行求解。
  那为什么这一章的内容叫做线性回归法，直接叫回归问题可以吗？因为我之前以为必须要有线性关系所以才叫这个标题的。

• liuyubobobo 回复 提问者 秦宝宝是我最爱的宝宝 #3

  因为这一章在讲线性回归法啊！