今天从网上搜的 EM 算法的原始论文叫做 Maximum likelihood from incomplete data via the EM algorithm,下次仔细学习的时候可以看看,最近比较功利,就不弄得那么明白了。(2012@3@21)
9.1 K-means Clustering
主要介绍了 K-means 和 EM 算法之间的关系,第一次听说原来 K-means 就是 EM 算法,不知道的东东还真是多。
接下来第二小结是 Mixtures of Gaussians,看来不得不回2.3去看了。
9.2 Mixtures of Gaussians
这章内容太多,所以单独写成分日志。
第一部分链接:Mixtures of Gaussians
第二部分链接:9.2.1 Maximum likelihood
9.2.2 的推导看不明白,直接上结论
1. 对于GMM的EM算法,由于EM计算量大而且收敛慢,可以先用K-means找到几个中心,然后均值、方差和混合参数都可以根据K-means的结果设定初始值。
2. 需要防止模型在奇异点崩塌
3. EM不能保证找到全局最优值
下面不打字了,直接把书上截图了: