EM 算法

 

 

Jensen不等式

如果f是凸函数，X是随机变量，那么：

当且仅当X是常量时，该式取等号

凸函数： 设f是定义域为实数的函数，如果对所有的实数x，f(x)的二阶导数都大于0，那么f是凸函数

注：Jensen不等式应用于凹函数时，不等号方向反向。当且仅当x是常量时，该不等式取等号。

EM算法推导流程

上面的推导中，我们把加法移到log外边去了，这样有利于求导。而且，我们确定了似然函数的下界，我要可以通过提高这个下界来逼近这个似然函数，当满足Jensen不等式的等号时，这个下界是最大的，后面我们只要最大化这个下界就可以使这个似然函数最大化。

这样就推导出了Q函数的分布，这个Q函数就是给定观测数据和参数下的隐变量的后验分布。

EM算法流程

EM算法实例

求解过程

1. 随机初始化参数值：

2. 计算Q函数（隐变量的后验概率）：

对于第一组实验，3正面2反面。

如果是A硬币得到这个结果的概率为：

如果是B硬币得到这个结果的概率为：

因此，第一组实验结果是A硬币得到的概率为：0.00512 / (0.00512 + 0.03087)=0.14,第一组实验结果是B硬币得到的概率为：0.03087/ (0.00512 + 0.03087)=0.86。即：

整个5组实验的A,B投掷概率如下：

3. 最大化期望

根据隐含变量的概率，可以计算出两组训练值的期望。依然以第一组实验来举例子：3正2反中，如果是A硬币投掷的结果：0.14*3=0.42个正面和0.14*2=0.28个反面；如果是B硬币投掷的结果：0.86*3=2.58个正面和0.86*2=1.72个反面。

5组实验的期望如下表：

 

 

参考资料

https://zhuanlan.zhihu.com/p/40991784