决策树的局限性

Question

老师您好，不理解删除了样本后，为什么决策边界会发生变化？删除那个样本后，竖直的决策边界不也可以达到信息熵最小的要求吗？

Answer 1

liuyubobobo 2018-03-15 17:33:43

决策树中信息熵的计算，和所有的数据点都相关。有一个数据点有变化，都很有可能会影响信息熵的计算结果，进而影响决策边界（非参数学习都是对数据非常敏感的，回忆一下，我们讲knn的时候也提过这一点。）

删除一个样本后，很有可能在竖直方向不再是信息熵最小的决策边界方向，而某个水平方向才是。