请问老师，结合上节课的投票角度，为什么在soft中只选用决策树一种算法进行训练得到子模型，而不是采用多种算法也训练多个子模型呢？

Answer 1

liuyubobobo 2019-08-18 16:41:51

其实可以。

但当我们要创建成百上千个“弱分类器”的时候，决策树是最好的完成这个目标的模型。因为决策树中可供选择的超参数更多，很容易通过调整参数，得到另外一个“弱分类器”。而且，这些弱分类器是非线性的。这使得每一个子模型更有可能考虑的是样本的不同的侧面，产生更大的差异化。而且他线性算法，（比如SVM或者逻辑回归）都是基于线性假设，即使看到的样本不同，最终集成的结果依然基本是线性的。

所以，使用决策树是最好的选择。正因为如此，有随机森林这样的一个专门的算法，其实就是基于决策树的 bagging 或者 pasting 而已。

继续加油！：）

• Fastpengmi #1

  bobo老师，“决策树得到的弱分类器是非线性的。这使得每一个子模型更有可能考虑的是样本的不同的侧面，产生更大的差异化。” 这句话是什么意思啊？ 
  1.为什么叫作弱分类器，是不是因为选取的建模样本是总样本的一部分？
  2. 每个决策树子模型考虑到样本的不同侧面，这怎么理解？

• liuyubobobo 回复 Fastpengmi #2

  1）选取的建模样本是总样本的一部分是一方面原因；自有包括，以随机森林为例，它通常其中的每一棵决策树，也会比较矮；参考的特征可能也只是一部分；等等等等，这些都让每一棵决策树的分类能力很弱。2）考虑不同侧面，就是指每一个分类器只看到了一部分样本（甚至是一部分样本的一部分特征），而不是全体。继续加油！：）

• Howiedu #3

  bobo老师您好。请问，既然随机森林算法中使用决策树这个模型是最好的，是不是也可以在Voting投票中将决策树修改为随机森林算法来进行投票呢？（可不可以理解成随机森林>=决策树=逻辑回归、kNN等算法？）

点开查看后面1条评论