信息量

操作性定义：对于某一事件，其发生的概率越小，那么其信息量越大；发生的概率越大，那么其信息量越小(最小不小于0)。因此，有信息量公式如下：

$$h(x)=-\log p(x)$$

从存储的意义上来说，如果某个事件的信息量更大，那么我们在计算机中存储这个事件所需要的比特位也更多；

从压缩的角度来说，信息量是对一个对象的最短的描述，并且信息量不会超过对象本身；直观上如果一个对象是完全随机的，那么它将是不可压缩的。