熵

信息熵

信息熵从数学上来说是某一个概率分布 $P$ 上各个事件所具有的信息量的期望，公式如下：

$$H(P)=-\sum _{i=1}^{n}p(x_i)\log p(x_i)$$

从某种意义上来说，也就是这个概率分布 $P$ 所具有的信息量的期望；信息熵的一个重要意义是将一个概率分布转化为了一个标量值，因此可以将这个标量值作为这个概率分布的一个评估

交叉熵

信息熵的计算前提是有真实的概率分布 $P$；然而真实的概率分布 $P$ 需要通过实际采样后才能够获得，我们预先能够知道的只有一个估计的概率分布 $Q$ ；

交叉熵解决的其实是一个后验性的评估问题；也就是说，如果我们错误地使用分布 $Q$ 来估计实际分布 $P$ 中所有事件的信息量，但事实上事件发生的真实概率分布 $P$ 并不会随着我们的估计而改变，由此可以得出一个后验性的信息量估计：

$$H(P,Q)=-\sum _{i=1}^{n}p(x_i)\log q(x_i)$$

从标量评估的角度，交叉熵其实量化了一个概率分布如何被另一个概率分布错误评估

Renyi 熵

Renyi 熵是香农熵的广义形式，为我们提供了一种更灵活的方式来衡量分布的不确定性。分布的 Renyi 熵定义为：

$$H_{\alpha }(P)=\frac{1}{1-\alpha }\log \left(\sum _x[P(x){]}^{\alpha }\right)$$

Renyi 熵由参数 $\alpha >0$ 控制，该参数决定了对分布中不同概率的权重分配； 当 $\alpha <1$ 时