关于过拟合

Question

1 在我理解正则化的用途就是通过减小theta减少拟合曲线波动过于大的部分，但是如果选择合适的degree就不会存在这个问题了， 那也就不需要正则化了。我的问题是：degree在实际中一般是怎么选取的，什么时候需要使用正则化呢？

2 您在末尾提到国外的后很多很好的ML教程，可以推荐一些吗？

Answer 1

liuyubobobo 2020-05-25 14:26:41

1

degree 怎么选取？如果明确的知道某个特征的幂次和最终结果是相关的，可以直接使用这个幂次。不过在大多数情况下，我们并不知道这个信息，所以都是尝试使用网格搜索。

2

degree 和 正则化不冲突，是一个配合关系。一个很高的 degree，意味着模型很复杂，但是正则化可以一定程度缓解这一点，避免过拟合。一个 高 degree 配合正则化的模型；和一个低 degree 的模型不是一回事。

你也可以成：degree = 1 的模型肯定是线性的。但是 degree = 2 配合正则化的模型，还是非线性的：）

另外，正则化并不只在多项式回归中使用。SVM 中也有正则化，只不过表达式不太一样。在模型过于复杂的情况下，就可以考虑使用正则化技术。（或者说，在过拟合的情况下，就可以考虑使用正则化。）

3

推荐这一本：http://coding.imooc.com/learn/questiondetail/97148.html

不过这本书现在国外已经有最新的第二版了，国内还没有引进。仅供参考。

加油！：）

• 提问者 慕沐7197561 #1

  谢谢波波老师