1.熵（Shann Entropy）
熵又叫信息熵，香农熵，反映了一个系统的有序（无序）的程度。整个世界都是倾向于从有序到无序，从稳态到混乱，熵值从低到高。设随机变量$X$的取值为$X={x_0,x_1,x_2,......x_n}$，对应概率表达为$p(X=x_i)$，则$X$的熵可表示为：
$H(X) = sum_{i=1}^np(x_i)logp(x_i)$
2.相对熵（Relative Entropy）
又叫互熵，KL散度，用来描述两个随机变量之间的距离（不相似性）。设$p(x)$,$q(x)$为$X$取值的两个概率分布，则二者的相对熵可表述为：
$D(p||q) =sum_{i=1}^np(x)logfrac{p(x)}{q(x)}$
KL 散度是用来度量使用基于 Q 的编码来编码来自 P 的样本平均所需的额外的位元数。典型情况下，P 表示数据的真实分布，Q 表示数据的理论分布，模型分布，或 P 的近似分布。
注意：
- KL散度并不对称 $KL(p||q) eq KL(q||p)$
- KL散度非负
简单实现：
from functools import reduce
import operator
import math
def kl(p, q):
return reduce(operator.add, map(lambda x, y: x*math.log(x/y), p, q))
3.交叉熵
衡量$p$与$q$之间的相似程度，所以常用在损失函数中
$H(p,q) =sum_{i=1}^np(x)logq(x)$
4.三者关系：
