数学计算得到的矛盾

Question

我根据概率学知识对Bagging的偏差进行了计算，但是得到的结论仿佛是偏差是维持不变的，这与文中二项分布推理出来的概率随n增大而增大仿佛矛盾了。这该如何解释呢？

Answer 1

liuyubobobo 2020-12-13 05:18:00

截图里：一个模型给出的概率值，具体是指什么概率值？

如果我没有理解错，这里是指来一个数据点，是 0 的概率（或者是 1 的概率）。那这个概率值就是不变的，和我们是用什么方法预测无关。一个数据点到底是怎样的，和我们怎样预测它无关。

soft voting 保证的是预测的准确率提高。

继续加油！：）

• 提问者 MrZLeo #1

  小f是子模型预测的概率值，应该是介于0-1之间的一个值，大F是经过voting得到的整体模型的预测值，他应该也是介于0-1的。
  
  根据这样计算的话，看起来大F的期望和小f的期望是一样的呀。
  
  当然，计算方差的话就不一样了。但是方差影响的是模型的泛化能力，不直接影响偏差吧。
  
  跟课程里面的实际计算比较起来，这就很迷惑。
  
  但是课程里面假设的是各子模型完全独立，而这里，是从整体数据集里面随机抽样，所以可以假设他们个子模型的期望是相等的。是不是能从这个角度出发来解释呢？
  
  感觉越想越迷糊了?

• 提问者 MrZLeo #2

  小f是预测的概率值我觉得可以简单地从逻辑回归的输出值这样来理解吧。

• 提问者 MrZLeo #3

  我参考是这个回答的Bagging部分的数学推导。
  https://www.zhihu.com/answer/111637662

点开查看后面1条评论

Answer 2

liuyubobobo 2020-12-13 12:00:39

另外，权重也不是赋予的，不是每一个模型有一个权重，而是在统计结果的时候，我们考虑 fi 具体是多少，而不是 fi > 0.5 就选择一个。

请再仔细理解这个例子，我们没有一个权重和模型预测的结果相乘：