KL散度是两个概率分布P与Q差异的一种方法:
1.离散概率分布KL散度计算公式
2.连续概率分布KL散度计算公式
KL散度可以很好地度量两个分布之间的距离,两个分布越接近,KL散度越小,两个分布越远,KL散度越大。
参考:https://blog.csdn.net/ericcchen/article/details/72357411