KL 散度（相对熵）

KL 散度又叫 相对熵，是衡量 两个概率分布 匹配程度的指标，KL 散度越大，分布差异越大，匹配度越低 

计算公式如下

或者

 

其中 p是 目标分布，或者叫被匹配的分布，或者叫模板分布，q 是去匹配的分布；

试想，p 是真实值，q 是预测值，岂不是 个 loss function；

性质

如果 两个分布 完全匹配，D_kl=0；

KL 散度是非对称的，即 D(p||q) 不一定等于 D(q||p)；

KL 散度 取值范围 大于等于 0；　　　　　　　　【参考资料2有证明，有个 杰森不等式】

直观解释

KL 散度左边是个 概率，右边是个 log(p/q)；

先看下右边的 log，如果 p > q，log 为正，如果 p < q，log 为负，如果 p = q，log 为 0；

为了使 KL 是个期望值，加入了权重 p，也就是说，p 使得 高概率的匹配区域 比 低概率的匹配区域 更加重要；

p(x_i) 大，说明 x_i 对应的 占比大，占比大的 是不是该 重视一下呢，而 乘以 p(x_i) 刚好可以使得其 权重增大，代表 重视了；

直观而言，优先正确匹配近似分布中真正高可能性的事件是有实际价值的。
从数学上讲，这能让你自动忽略落在真实分布的支集（支集（support）是指分布使用的 X 轴的全长度）之外的分布区域。
另外，这还能避免计算 log(0) 的情况——如果你试图计算落在真实分布的支集之外的任意区域的这个对数项，就可能出现这种情况。

Python 实现

import numpy as np
import scipy.stats      # 不能只 import scipy

# 随机生成两个离散型分布
x = [np.random.randint(1, 11) for i in range(10)]
px = x / np.sum(x)
print(px)
y = [np.random.randint(1, 11) for i in range(10)]
py = y / np.sum(y)
print(py)


##### scipy API进行计算
# scipy计算函数可以处理非归一化情况，因此这里使用
# scipy.stats.entropy(x, y)或scipy.stats.entropy(px, py)均可
KL = scipy.stats.entropy(x, y)
print(KL)           # 0.14931583282835742


##### 手动实现
KL = 0.0
for i in range(10):
    KL += px[i] * np.log(px[i] / py[i])
print(KL)           # 0.14931583282835742

Pytorch 中 KL 计算出现负值

需加个 log

import torch

KL_criterion = torch.nn.KLDivLoss(size_average=False)
a = torch.tensor([0.2, 0.1, 0.3, 0.4])
b = torch.tensor([0.1, 0.2, 0.3, 0.4])

loss1 = KL_criterion(a.log(), b)
print(loss1)        # tensor(0.0693)    加 log 正确
loss2 = KL_criterion(a, b)
print(loss2)        # tensor(-1.5699)   不加 log 为 负数，错误

注意：分布的结果相加需要为1

参考资料：

https://www.jianshu.com/p/7b7c0777f74d　　直观解读KL散度的数学概念　　　　讲得比较好，主要参考，里面还有其他内容，可以看看

https://zhuanlan.zhihu.com/p/39682125　　KL散度理解

https://www.cnblogs.com/hxsyl/p/4910218.html　　浅谈KL散度

https://www.zhihu.com/question/384982085/answer/1856014994　　pytorch KL散度为负数？