boosting和bagging的区别

Question

老师您好，我看到评论区有同学问过这个问题，您的答案是”boosting是增强，bagging是投票“。
但是adaboost的视频中您说，生成多个子模型（内部样本一样，只是各个样本点权重不同）后，还是通过投票voting生成最终结果。
也就是说，boosting其实也是投票机制？

Answer 1

liuyubobobo 2025-01-22 07:47:14

不是所有的 boosting 算法都投票，比如 gradient boosting 就不需要投票。

boosting 强调的是算法需要根据之前的运算结果做“改进”（即 boost）。但是改进后怎么用是另外一个问题。在 adaboost 中是投票；在 gradient boosting 中就是加和。

一个直观的概念就是：boost 类算法通常无法并行化。但 voting 类算法 voting 的实体之间互不干涉，所以很容易并行化。

继续加油！：）