“在逻辑回归中使用正则化”

Question

老师，这节里的“在逻辑回归中使用正则化”里，sklearn和上一章我们学的正则化方式的区别不是很明白，麻烦老师再梳理一下呗🧐🥳

Answer 1

liuyubobobo 2021-11-11 15:39:38

我不很确定你不理解的点在哪里。如果下面的解释还有疑问，请补充说明一下自己具体不理解的点。

简单来说，正则化一个模型，所对应的最优化的式子，有两部分，一部分是原始模型的损失函数，假设叫 J，一部分是正则化项，假设叫 L。

这两部分有一个占比的区别。比如你希望 J 占比 80%，L 占比 20%，那么整个式子就是 0.8J + 0.2L。

但是，J 和 L 的占比前面的两个系数，其实可以合成一个系数。同样是 80% 的 J 和 20% 的 L，我们可以写成 4J + L，也可以写成 J + 0.25L。这两个式子都是 J 的占比是 L 的占比的 4 倍（想想为什么？）。但是前者把 L 的系数化为了 1，后者把 J 前面的系数化为了 1。使得整个式子从两个参数变成了一个参数。

更一般性的，如果 J 前面的系数是 1，我们写成 J + aL。这就是上一章的正则化的式子。我们只需要决定 a 就好。

如果 L 前面的系数是 1，我们写成 CJ + L，这就是这一章正则化的式子，我们只需要决定 C 就好。

继续加油！：）

• 提问者 亨heng #1

  老师我还有点小疑问就是，“这两部分有一个占比的区别”这个不同的占比会带来什么影响？

• liuyubobobo 回复 提问者 亨heng #2

  会使得预测的结果不同，也会使得模型的泛化能力不同。请再复习一下，我们为什么引入正则项？正则项到底起什么作用？如果没有正则项，相当于 J 的占比是 100%，L 的占比是 0%。

• 提问者 亨heng #3

  非常感谢！