GAN中涉及的信息量，信息熵，交叉熵，KL散度，JS散度等概念

@

目录

• 信息量
• 信息熵
• 交叉熵
• KL散度
• JS散度

(信息量 o信息熵 o交叉熵 o KL散度 o JS散度)

信息量

(-log p(x)=log frac{1}{p(x)})

信息熵

(H(p)=H(x)=E_{x~p(x)}[-log p(x)]=-int p(x)log p(x)dx或sum p(x)logfrac{1}{p(x)})

交叉熵

(H(p,q)=-int p(x)log q(x)dx或sum p(x)log frac{1}{q(x)})

KL散度

(H(p)-H(p,q)=-int p(x)log p(x)dx-(-int p(x)log q(x)dx))
或
(KL(p||q)=sum p(x)logfrac{p(x)}{q(x)})

JS散度

(JS(p||q)=frac{1}{2}KL(p(x)||frac{p(x)+q(x)}{2}+frac{1}{2}KL(q(x)||frac{p(x)+q(x)}{2}))

信息量代表的是一种不确定性；信息熵代表的是不确定性的期望值；KL散度，JS散度，交叉熵都可以用来衡量两个概率分布之间的差异性。

参考：
https://blog.csdn.net/neil3611244/article/details/82829103
码字不易，如果您觉得有帮助，麻烦点个赞再走呗~