老师还是有点没听懂岭回归

Question

我不太懂为啥西塔大会过拟合？过拟合的原因不是因为参数太多或者维度太高吗？没太懂西塔是怎么影响拟合效果的。还有就是这个正则话的原理以及这个阿尔法怎么影响结果也没太理解，能不能再解释下

Answer 1

liuyubobobo 2020-01-29 06:42:50

theta 越大，曲线越陡。

试一试，画出 y = x^2 和 y = 20 * x^2 的函数，比较一下？

画出 y = x^3 - x^2 + x - 1 和 y = 20 * x^3 - 40 * x^2 + 60 * x - 1 的函数，比较一下。

极端情况，你可以想象一下，如果所有的 theta 都是 0，那么我们的函数就变成了 y = 0，就是一条直线。

曲线越陡，越容易出现这样的过拟合：

为什么加入 alpha 项，可以限制 theta？

可以用极限的思维想想一下，在这个式子中：

如果 alpha 无限大，那么此时，前面的 MSE 部分相较而言，可以忽略不计。整个损失函数，就是 theta 的平方和乘以 alpha。

此时，如何让损失函数 J 最小？就是所有的 theta 都取 0。

当然，实际上，我们不可能让 alpha 无穷大，但是这个思维可以帮助我们理解，为什么 alpha 能够限制 theta 的大小。

继续加油！：）

• 提问者 SomnusL #1

  内个 老师我还是有点不懂。因果关系那种不懂。我一直认为theta不就是影响损失的那个参数吗？theta跟拟合程度的关系是什么？你并不知道损失函数是个怎样的函数啊。也不能说theta增大或者减小损失就是增大或者减小啊

• liuyubobobo 回复 提问者 SomnusL #2

  J(theta) 越小，拟合的越好。而 theta 影响了 J(theta) 的大小。

• 提问者 SomnusL #3

  可是Theta控制的只是J的大小啊，损失的大小怎么判断是不是过拟合 就是不太懂这个点。。还有就是为啥theta小就拟合的好，我们怎么知道损失函数是怎么样的曲线呢？

点开查看后面1条评论