这里两个信息熵算错了吧

Question

Answer 1

liuyubobobo 2018-02-24 13:56:41

请问哪里错了呢？

• 提问者 bearsmall #1

  不是默认以2为底数吗？拿第一个值来说，你这里的log的底数好像是自然常数e为底数即ln(3)求得的值。

• 提问者 bearsmall #2

  底数也没有个固定说法，也不是什么大问题吧，嘻嘻。

• liuyubobobo 回复 提问者 bearsmall #3

  如果追究信息熵的意义，信息熵本身的定义中，对数运算的底可以取2，e或者10，取的底不同，获得的信息熵的结果的单位不同，分别称为：bits, nats和bans。不过其实，在这里的计算中，我们求信息熵的底可以用任意值，因为具体在划分的时候，不管底取多少，H这个函数的性质是不会变的。是的，在这个课程中，我统一使用的自然对数进行的运算：）

点开查看后面2条评论