过拟合

Question

老师，过拟合有好的解决方案吗

Answer 1

liuyubobobo 2018-01-19 10:00:30

第八章的诸多讨论其实都是在讨论过拟合的解决方案：）

1. 降低模型复杂度

2. 正则化

3. 增大样本数据

4. 尝试化简，选择，提取更好的特征，所谓特征工程（特征不是越多越好！）

5. 去噪
   

6. 尝试使用ensemble的方法（集成学习，见课程第十三章）

暂时想到这么多，还有一些方法，是适用于具体算法的，最典型的是在深度学习领域，需要学习的一个重要的部分就是如何抑制过拟合。这部分内容在这个课程中暂时不做介绍。

其实我这里列出来的内容，除了3，近乎其他每一点展开来说都有很多内容。不过在这个课程中，除了4近乎都有所涉及，但深度不够，有兴趣可以再深入调研一下相关的一些资料：）特征工程相关讨论，可以参考这里：https://coding.imooc.com/learn/questiondetail/40722.html

另外，在实践的时候，想提醒一点，不要总以为自己的模型的问题是出在过拟合上。我见过很多模型，其实本质是High-Variance同时也High-Bias的，绝不是解决了过拟合就ok的（或者说由于High-Bias，看起来似乎总解决不了High-Variance）。可以再回想一下第八章我介绍的模型的Variance和Bias：）