bagging 与 boosting 最大区别

Question

老师好，网络上说，bagging 与 boosting最大的区别是：

bagging 是一堆 overfitting 的弱模型构成。
boosting 是一堆 underfitting 的弱模型构成。

我总觉得有些奇怪。
我记得bagging为代表的是随机森林，里面都是一堆决策树，而这些决策树都是弱分类器，不是因为 overfitting 造成的吧？

Answer 1

liuyubobobo 2020-08-30 05:54:23

“overfitting 的弱模型”这个说法就太含糊了。overfitting 意味着"强"，而“弱模型”又意味着 underfititng。

我个人还是建议从机制的角度理解 bagging 和 boosting。bagging 是投票；boosting 是增强。

继续加油！：）

• 提问者 lemonlxn #1

  好的，谢谢老师。那我还是从简去理解吧