https://blog.csdn.net/qq_39521554/article/details/79248993
https://www.cnblogs.com/surfzjy/p/7785187.html
一、EM简介
EM(Expectation Mmaximization) 是一种迭代算法， 用于含隐变量(Latent Variable) 的概率模型参数的极大似然估计， 或极大后验概率估计 EM算法由两步组成， 求期望的E步，和求极大的M步。
EM算法可以看成是特殊情况下计算极大似然的一种算法。
现实的数据经常有一些比较奇怪的问题，比如缺失数据、含有隐变量等问题。当这些问题出现的时候，计算极大似然函数通常是比较困难的，而EM算法可以解决这个问题。
EM算法已经有很多应用，比如最经典的Hidden Markov模型等。经济学中，除了逐渐开始受到重视的HMM模型（例如Yin and Zhao, 2015），其他领域也有可能涉及到EM算法，比如在Train的《Discrete Choice Methods with Simulation》就给出了一个mixed logit 模型的EM算法。
二、EM算法的预备知识
1、极大似然估计
（1）举例说明：经典问题——学生身高问题
我们需要调查我们学校的男生和女生的身高分布。 假设你在校园里随便找了100个男生和100个女生。他们共200个人。将他们按照性别划分为两组，然后先统计抽样得到的100个男生的身高。假设他们的身高是服从高斯分布的。但是这个分布的均值u和方差∂2我们不知道，这两个参数就是我们要估计的。记作θ=[u, ∂]T。
问题：我们知道样本所服从的概率分布的模型和一些样本，而不知道该模型中的参数。
我们已知的有两个：（1）样本服从的分布模型（2）随机抽取的样本 需要通过极大似然估计求出的包括：模型的参数
总的来说：极大似然估计就是用来估计模型参数的统计学方法。
（2）如何估计
问题数学化： （1）样本集X={x1,x2,…,xN} N=100 （2）概率密度：p(xi|θ)抽到男生i（的身高）的概率 100个样本之间独立同分布，所以我同时抽到这100个男生的概率就是他们各自概率的乘积。就是从分布是p(x|θ)的总体样本中抽取到这100个样本的概率，也就是样本集X中各个样本的联合概率，用下式表示：
这个概率反映了，在概率密度函数的参数是θ时，得到X这组样本的概率。 需要找到一个参数θ，其对应的似然函数L(θ)最大，也就是说抽到这100个男生（的身高）概率最大。这个叫做θ的最大似然估计量，记为
（3）求最大似然函数估计值的一般步骤
首先，写出似然函数：
其次，对似然函数取对数，并整理：
然后，求导数，令导数为0，得到似然方程；
最后，解似然方程，得到的参数即为所求。
（4）总结
多数情况下我们是根据已知条件来推算结果，而极大似然估计是已经知道了结果，然后寻求使该结果出现的可能性最大的条件，以此作为估计值。
2、Jensen不等式
（1）定义
设f是定义域为实数的函数，如果对于所有的实数x。如果对于所有的实数x，f(x)的二次导数大于等于0，那么f是凸函数。 Jensen不等式表述如下： 如果f是凸函数，X是随机变量，那么：E[f(X)]>=f(E[X]) 。当且仅当X是常量时，上式取等号。
（2）举例
图中，实线f是凸函数，X是随机变量，有0.5的概率是a，有0.5的概率是b。X的期望值就是a和b的中值了，图中可以看到E[f(X)]>=f(E[X])成立。 Jensen不等式应用于凹函数时，不等号方向反向。
三、EM算法推导
如果我们关心的参数为θ，观察到的数据为y，隐藏变量为z，那么根据全概率公式：
理论上，只要最大化这个密度函数的对数，就可以得到极大似然估计。然而问题是，对z进行积分很多情况下是非常困难的，特别是z的维数可能与样本量一样大，这个时候如果计算数值积分是非常恐怖的一件事情。
而EM算法可以解决这个问题。根据贝叶斯法则，我们可以得到：
EM算法的精髓就是使用这个公式处理z的维数问题。
直觉上，EM算法就是一个猜测的过程：给定一个猜测θ'，那么可以根据这个猜测θ'和现实的数据计算隐藏变量取各个值的概率。有了z的概率之后，再根据这个概率计算更有可能的θ。
准确的来说，EM算法就是如下的迭代过程：
Train的《Discrete Choice Methods with Simulation》中有一张图非常形象的描述了上面的过程：
图中LL为上面的ln[P(y|θ)]，ε可以大体等价为上面介绍的迭代过程的目标函数。可以证明的是，在θ_t处，LL和ε相切，且ε<=LL。如此，每一次对ε函数求最小化，都给出了一个θ的最好猜测。从这个角度来讲，EM算法提供了计算极大似然函数的一个优化算法，只不过最经典的Quasi-Newton方法直接使用导数信息更新θ。
使用EM算法的关键主要是求出h函数。下面举一个最经典的mixed-normal的例子，假设：
即观察到的数据y以概率p来自两个总体，两个总体的均值假设分别为μ和-μ。
我们可以计算：
其中θ={μ,p}。
同样，可以计算：
如此，上面的迭代过程就可以写为:
给定一个初始值，不断的迭代求上面的最优，就可以得到结果。
EM的两个例子
先来看看EM算法大概用在什么样的情况。
- (三硬币模型)假设有3枚硬币，分别记作A,B,C。这些硬币正面出现的概率分别是$pi,q,p$。进行如下实验，先扔硬币A，根据其结果选出硬币B或硬币C，正面选硬币B，反面选硬币C，然后扔选出的硬币，正面朝上结果记为1，反面朝上结果记为0，独立重复n次(此处为10次)，观测结果如下：1,1,0,1,0,0,1,0,1,1。估计三枚硬币正面朝上的概率。
- 高斯混合模型参数估计
四、算法解释
EM算法，就是当你没办法直接从观测之中进行参数估计的时候，通过加一些可以满足特定条件的隐变量，来简化模型，达到可以通过迭代来逐步估计分布的参数的一个算法。
设X为观测数据(obvious data), Z为隐变量(latent variable), 为要估计的参数。
我们做极大似然估计的时候，需要极大化对数似然函数来求出参数的极大似然估计，所以，我们的目标就是极大化一个对数似然函数（以下都用log代替ln，别问为啥我这么写，我也不知道，大多数文献都这么写）
公式1
公式2
要注意，我们加的隐变量Z，要满足两个条件：
- 加了隐变量后，可以达到简化模型的目的(废话)
- 加了隐变量，不改变原分布的边缘(重要)
面对公式2，我们看着他很简洁，但是，但是，但是，（重要的事和难过的事都要说三遍！）现实中他很复杂。比如我们加了隐变量的混合高斯模型的对数似然函数就如下:
这个东西，要求出最大值，还是很难的，所以我们要采用EM算法。EM的总体思想就是我们通过迭代逐步极大化这个极大似然函数，最终使 极大似然函数最大，进而求解需要估计的参数。
几个有趣的解释
简版：猜（E-step）,反思（M-step）,重复；
背景：公司有很多领导=[A总，刘总，C总]，同时有很多漂亮的女职员=[小甲，小章，小乙]。（请勿对号入座）你迫切的怀疑这些老总跟这些女职员有问题。为了科学的验证你的猜想，你进行了细致的观察。于是，
观察数据：
1）A总，小甲，小乙一起出门了；
2）刘总，小甲，小章一起出门了；
3）刘总，小章，小乙一起出门了；
4）C总，小乙一起出门了；
收集到了数据，你开始了神秘的EM计算：
初始化，你觉得三个老总一样帅，一样有钱，三个美女一样漂亮，每个人都可能跟每个人有关系。所以，每个老总跟每个女职员“有问题”的概率都是1/3;
这样，（E step）
1） A总跟小甲出去过了 1/2 * 1/3 = 1/6 次，跟小乙也出去了1/6次；（所谓的fractional count）
2）刘总跟小甲，小章也都出去了1/6次
3）刘总跟小乙，小章又出去了1/6次
4）C总跟小乙出去了1/3次
总计，A总跟小甲出去了1/6次，跟小乙也出去了1/6次 ; 刘总跟小甲，小乙出去了1/6次，跟小章出去了1/3次；C总跟小章出去了1/3次；
你开始跟新你的八卦了(M step),
A总跟小甲，小乙有问题的概率都是1/6 / (1/6 + 1/6) = 1/2；
刘总跟小甲，小乙有问题的概率是1/6 / (1/6+1/6+1/6+1/6) = 1/4; 跟小章有问题的概率是(1/6+1/6)/(1/6 * 4) = 1/2;
C总跟小乙有问题的概率是 1。
然后，你有开始根据最新的概率计算了；（E-step）
1）A总跟小甲出去了 1/2 * 1/2 = 1/4 次，跟小乙也出去 1/4 次；
2）刘总跟小甲出去了1/2 * 1/4 = 1/12 次， 跟小章出去了 1/2 * 1/2 = 1/4 次；
3）刘总跟小乙出去了1/2 * 1/4 = 1/12 次， 跟小章又出去了 1/2 * 1/2 = 1/4 次；
4）C总跟小乙出去了1次；
重新反思你的八卦（M-step）:
A总跟小甲，小乙有问题的概率都是1/4/ (1/4 + 1/4) = 1/2；
B总跟小甲，小乙是 1/12 / (1/12 + 1/4 + 1/4 + 1/12) = 1/8 ; 跟小章是 3/4 ;
C总跟小乙的概率是1。
你继续计算，反思，总之，最后，你得到了真相！（马总表示我早就知道真相了）