12-2信息熵的计算

Question

波波老师，12-2信息熵的定义log是不是log2？以比特为单位的计量。相应的，用math.log计算，是不是也是log(p,2)?

Answer 1

liuyubobobo 2018-07-11 16:31:09

由于在我们这一章所介绍的决策树的建立方法中，对于信息熵的计算，无论是使用以2为底，还是使用以e为底，都不会影响最终我们生成的决策树的形状，所以课程中对这一点并没有过多强调。在具体计算上，课程代码直接使用log函数，默认是以e为底的。修改成以2为底，没有问题：）

具体，对于信息熵来说，无论是以2为底，还是以e为底，都是有物理意义的，可以参考这个问答：）

https://coding.imooc.com/learn/questiondetail/43581.html

不过已经有不少同学问这个问题了，课程中对这一点应该解释清楚的。抱歉了！

继续加油！：）