如果我们有俩个不相关的事件x和y，那么我们观察到的俩个事件同时发生时获得的信息应该等于观察到的事件各自发生时获得的信息之和，即：h(x,y) = h(x) + h(y)由于x，y是俩个不相关的事件，那么满足p(x,y) = p(x)*p(y).根据上面推导，我们很容易看出h(x)一定与p(x)的对数有关（因为只有对数形式的真数相乘之后，能够对应对数的相加形式，可以试试）。因此我们有信息量公式如下：
作者：忆臻
链接：https://www.zhihu.com/question/30828247/answer/160647576
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
