关于非参数学习算法容易过拟合的问题

Question

老师你在视频中提到“所有的非参数学习算法，都非常容易产生过拟合问题”，相对于参数学习算法，为什么非参数学习算法就更容易过拟合呢？感觉这个面应该挺大的，老师你简要回答下就好了。

Answer 1

liuyubobobo 2020-10-06 12:18:41

参数学习的本质，就是把一个问题，归结为简单的几个参数上。把一个复杂的问题，只是使用几个简单的参数表达，肯定是不够的，因此，容易欠拟合；

反之，对于非参数学习，则是强调关注每一个数据表的意思。你可以在仔细体会一下这个课程中介绍的非参数学习算法，比如 knn 和决策树；与参数学习算法，比如线性回归或者逻辑回归，处理问题思路的不同。非参数学习更容易学习到一个只针对当前数据有效的决策边界，因此更容易过拟合。

继续加油！：）

Answer 2

提问者 手中的铅笔 2020-10-05 22:48:13

还是在最后一个一节，老师你也说了原因，“非参数学习算法对个别数据敏感”。参数学习算法通常需要参考足够多的训练数据才能给出最终的模型参数值，容错能力会更强一些。而在非参数学习中，除了老师在这一章最后一节举的删除一个训练数据就影响决策边界的例子，KNN 算法如果 K 值较小的话，在某些区域，也很容易被异常数据左右。