互信息

• 互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。（百度百科）
• 互信息通常用于描述两个系统间的统计相关性，或者一个系统中所包含另一个系统中信息的多少。互信息是点间互信息（PMI）的期望值，最常用的单位是bit，在过滤问题中用于度量特征对于主题的区分度，互信息的定义与交叉熵近似。
• 互信息是用来度量相关性的。互信息越高，相关性也越高
• 互信息可以得到因素之间的相关性强度，而稳定的强相关性才是我们要重点关注的。一些不稳定或者相关性低的指标可以称为噪音。