JS散度

Jensen-Shannon 散度（JS 散度）是一种对称性的散度度量，也是用来量化两个概率分布之间的相似性；其并没有将任何一个分布作为标准分布，而是将他们的混合分布作为标准分布：

$$M=\frac{1}{2}(P+Q)$$

进而得到 JS 散度的公式：

$$D_{JS}=\frac{1}{2}{D}_{KL}(P||M)+\frac{1}{2}{D}_{KL}(Q||M)$$

本质上是对于 KL 散度的对称性改进，适合于某些无偏估计场景；KL散度