KL散度
在AI领域，我们经常需要衡量两个概率分布的相似度
KL散度
KL散度（Kullback-Leibler Divergence），也称为相对熵（Relative Entropy），用于衡量一个分布相对于另一个分布的相似性
假设现在有两个离散概率分布$P$和$Q$，他们的KL散度计算公式为：
$$
D_{KL}(P||Q)=\sum_{i}P(i)\log \left(\frac{P(i)}{Q(i)} \right)
$$
其中$P(i)$表示分布$P$在第$i$个事件的概率
特性：
- 非负性，KL散度通常大于等于0，当且仅当两个分布相同时等于0
- 不对称性，$D_{KL}(P||Q)$往往和$D_{KL}(Q||P)$不同
- 不满足三角不等式（即两边之和大于第三边）
JSD
Jensen-Shannon Divergence (JSD)也是一种衡量两个概率分布相似性的的指标，基于KL散度，但JSD具有对称性
JSD计算方式：
- 计算$P$和$Q$的平均分布
$$
M = (P+Q)/2
$$
-
计算$D_{KL}(P||M)$和$D_{KL}(Q||M)$
-
JSD是两个散度的平均值
$$
JSD(P||Q)=\frac{1}{2}(D_{KL}(P||M) + D_{KL}(Q||M))
$$
JSD的范围是[0, 1]，0表示两个分布完全重合，1表示两个分布完全没有重叠（差异最大）
