额老师我有点搞不清线性回归的完整步骤是啥了

Question

之前我们是用最小二乘法把参数求出来直接带入方程就能求直线啊。在梯度下降里面这个步骤是怎样的？是给定一个参数求损失函数吗？我们有的参数不是直接可以求直线方程吗？有点没搞明白能不能总结下完整步骤

Answer 1

liuyubobobo 2020-01-24 03:45:35

最小二乘法和梯度下降法是两种求解线性回归参数的方式。

最小二乘法是直接代入公式求解；

梯度下降法是用搜索的方式一地啊暗一点找出来。

在大多数情况下，对于大多数数据，对于线性回归来说，使用最小二乘法就好了。但是，在课程后续学习的很多算法中，都没有直接的公式可以使用，必须使用梯度下降法求解，所以在这里，我也先介绍了梯度下降法。

具体梯度下降法和最小二乘法的比较，我在第五小节也会做一个小实验的。

继续加油！：）

Answer 2

提问者 SomnusL 2020-01-23 23:04:16

还有我们都是为了找出最优的参数，那直接用最小二乘和正规方程解和梯度下降又有什么区别呢

Answer 3

提问者 SomnusL 2020-01-23 22:46:29

主要没明白梯度下降和线性回归怎么结合的。我们在梯度下降的过程中不就把斜率和截距求出来 在线性回归里不就是最小二乘法求的吗

• qq__9987 #1

  最小二乘法是令偏导数为0来求解参数。梯度下降法，是通过寻找函数值减小的方向来逼近最小值。线性回归只是一个模型而已。求损失函数的方法现在学的有以上两种。