关于随机森林的随机性疑问

Question

老师好，我之前问过这个问题，但我还是有些疑惑，需要再向您请教下。

假如我这里有10000个样本，10个特征。
我想在随机森林中生成500个决策树，max_features = 4,bootstrap=True。

请问：
1.请问每颗数的样本数是一样的吗？各自每颗样本数又是多少？
2.我这里设置最大特征为4。
第一颗树，可以从这10个特征，任意挑4个特征？
如 第1、4、7、8个特征？
第二颗树，可以从这10个特征，任意挑4个特征？
如 第2、6、9、10个特征？
然后以此类推？
3.每颗决策树在每个节点的最优划分，是基于这4个特征？
4.如果随机森林进行分类任务的话，是基于少数服从多数的要求吗？那有 soft voting 的设置吗？

Answer 1

liuyubobobo 2020-04-29 10:46:25

1 

如果 bootstrap=True，每棵树的样本不一样。因为放回取样的意思是：抽一个样本，然后放回去重新抽，所以可能抽重。抽重的不算，造成了差距。

2 

对

3 

对

4 

对，少数服从多数，没有 soft voting。

因为随机森林里面都是弱分类器，所以其实 soft voting 没什么意义：）

继续加油！：）

• 提问者 lemonlxn #1

  非常感谢！给你加个小鸡腿

• 提问者 lemonlxn #2

  老师好，针对我这里的第二个问题，我还有点小疑问。任意挑的4个特征，是固定的特征列对吧，不会发生该颗数，第一个样本选取了 第1、2、3、4特征，而第二个样本选取了第1、5、6、8特征的情况吧，而是该棵树一直会选取第1、2、3、4特征？

• liuyubobobo 回复 提问者 lemonlxn #3

  是的，每棵决策树是针对一组特征子集的。

点开查看后面1条评论

Answer 2

慕妹7897946 2020-08-09 19:56:38

如果 bootstrap=false呢？所有子树样本数一样吧，但是样本个数是多少，就是全部样本集吗

• liuyubobobo #1

  是的。