关于神经网络和集成学习的问题

Question

老师您好，我最近在打数据比赛。建立一个回归模型，发现同样的特征和label，用随机森林train其中的mae会远远小于用全连接神经网络的train的mae，无论怎么修改网络参数都没用，请问这之后有什么数学原因吗？

Answer 1

liuyubobobo 2019-03-30 13:06:16

因为神经网络的参数更多啊，训练的参数个数，远超随机森林。这些参数，都是再根据训练数据变化的。所以能更好地拟合：）

而随机森林，整体其实只是在在依赖大量弱分类器的小样本随机结果。如果要调参，尝试加大弱分类器个数。最后的效果通过train数据的mae表现不出来，比较test的mae，可能不输神经网络的（要是输也正常，见上面的解释，说明你找到了一个拟合的很好的模型。）：）

继续加油！：）

• 提问者 慕九州9175731 #1

  最后的效果是随机森林更好，且大多数数据比赛都推荐用gbdt，xgb这些而非随机森林，请问是为什么呢？

• liuyubobobo 回复 提问者 慕九州9175731 #2

  因为神经网络参数多啊！：）所以很容易就过拟合啊：）

• 提问者 慕九州9175731 回复 liuyubobobo #3

  谢谢老师！

点开查看后面2条评论