1. EM算法-数学基础

1. EM算法-数学基础

2. EM算法-原理详解

3. EM算法-高斯混合模型GMM

4. EM算法-高斯混合模型GMM详细代码实现

5. EM算法-高斯混合模型GMM+Lasso

1. 凸函数

通常在实际中，最小化的函数有几个极值，所以最优化算法得出的极值不确实是否为全局的极值，对于一些特殊的函数，凸函数与凹函数，任何局部极值也是全局极致，因此如果目标函数是凸的或凹的，那么优化算法就能保证是全局的。

定义1：集合(R_csubset E^n)是凸集，如果对每对点( extbf{x}_1, extbf{x}_2subset R_c)，每个实数(alpha,0<alpha<1)，点( extbf{x}in R_c)

[ extbf{x}=alpha extbf{x}_1+(1-alpha) extbf{x}_2 ]

定义2：我们称定义在凸集(R_c)上的函数(f(x))为凸的，如果对每对( extbf{x}_1, extbf{x}_2 in R_c)与每个实数(alpha ,0<alpha<1)，则满足不等式

[f[alpha extbf{x}_1+(1-alpha) extbf{x}_2]leqalpha f( extbf{x}_1)+(1-alpha)f( extbf{x}_2) ]

如果( extbf{x}_1 eq extbf{x}_2)，则f(x)是严格凸的。

[f[alpha extbf{x}_1+(1-alpha) extbf{x}_2]<alpha f( extbf{x}_1)+(1-alpha)f( extbf{x}_2) ]

2. Jensen不等式

定义1：若(f(x))为区间(X)上的凸函数，则(forall n in mathbb N, n ge 1,), 若(forall i in mathbb N, 1 le i le n, x_i in X, lambda_i in mathbb R,),且(sum^n_{i=1}lambda_i=1), 则：

[f(sum_{i=1}^{n} lambda_i x_i) le sum_{i=1}^{n} lambda_i f(x_i) ]

推论1：若(f(x))为区间(R)上的凸函数，(g(x): R ightarrow R)为一任意函数，(X)为一取值范围有限的离散变量，(E [f left ( g(X) ight ) ])与(E[g(X)])都存在，则：

[E [f left ( g(X) ight ) ] ge f left (E[g(X)] ight ) ]

3. 极大似然估计

极大似然估计方法（Maximum Likelihood Estimate，MLE）也称为最大概似估计或最大似然估计。

一般说来，事件(A)发生的概率与某一未知参数( heta)有关，( heta)的取值不同，则事件(A)发生的概率(P(A| heta))也不同，当我们在一次试验中事件(A)发生了，则认为此时的( heta)值应是(t)的一切可能取值中使(P(A| heta))达到最大的那一个，极大似然估计法就是要选取这样的(t)值作为参数t的估计值，使所选取的样本在被选的总体中出现的可能性为最大。

直观的例子：
设甲箱中有99个白球，1个黑球；乙箱中有1个白球．99个黑球。现随机取出一箱，再从抽取的一箱中随机取出一球，结果是黑球，这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多，这时我们自然更多地相信这个黑球是取自乙箱的。