课题论文之调研---已有研究算法概述

一：论文参考链接

http://cdmd.cnki.com.cn/Article/CDMD-10475-2008096598.htm

http://cdmd.cnki.com.cn/Article/CDMD-10384-2008058227.htm

二：SEM算法

2.1EM算法

最大期望算法（Expectation Maximization Algorithm，又译期望最大化算法），是一种迭代算法，用于含有隐变量（hidden variable）的概率参数模型的最大似然估计或极大后验概率估计。

在统计计算中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。

最大期望算法经过两个步骤交替进行计算：

第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；

第二步是最大化（M），最大化在 E 步上求得的最大似然值来计算参数的值。

M 步上找到的参数估计值被用于下一个 E 步计算中，这个过程不断交替进行。

总体来说，EM的算法流程如下：

1.初始化分布参数

2.重复直到收敛：

E步骤：估计未知参数的期望值，给出当前的参数估计。

M步骤：重新估计分布参数，以使得数据的似然性最大，给出未知变量的期望估计。

2.2SEM算法

（1）SEM算法基本思想： 
    SEM算法是参数EM算法的一个推广，它将EM算法应用到不完备数据集的贝叶斯网络学习中。其基本思想是：从某一初始贝叶斯网络B0=(G0, θ0)出发开始迭代，在进行了t次迭代得到当前最佳网络Bt=(Gt, θt)后,第t+1次迭代由以下两步骤组成： 
    1、基于当前最佳网络Bt=(Gt, θt)对数据集D利用EM算法进行补全，使之完整并得到完整数据集Dt； 
    2、基于数据集Dt对模型及参数进一步优化，得到Bt+1=(Gt+1, θt+1) 
其中，初始网络的选择一般是这样的：隐变量和所有的已观测变量都是相连的，并且是它们的父节点。如果一个网络结构中有很多隐变量，那么就从中随机的选择边，以确保不会超过父节点集的大小，然后按照上述思想进行迭代。

（2）SEM算法的执行过程  

   SEM算法主要分为结构搜索和参数学习两步。进行结构搜索时，SEM算法使用期望充分统计因子代替不存在的充分统计因子，这样可使打分函数具有可分解形式，再进行局部搜索，以试图发现得分更高的网络结构；然后，在选定的网络结构上寻找使得得分最大的参数。其具体执行过程如下： 
1、设置变量的初始值； 
2、从某个初始贝叶斯网络出发开始迭代； 
3、调用联合树推理算法完成对贝叶斯网络的推理运算，得出目前最佳网络； 
4、基于当前最佳网络利用EM算法对数据集进行补全，得到完整数据集以便实现参数的最大化； 
5、计算网络中所有节点取值个数的总和。 
6、创建所有与初始网络不同的网络结构，将这些结构作为候选网络结构。 
7、运用BIC评分函数对上述候选的网络结构进行打分，从选定的网络结构上寻找使得得分最大的参数。 
8、输出和数据集拟合的最好的网络结构。

三：丢失数据处理：

可以利用基布斯抽样法填补丢失的数据。http://wenku.baidu.com/view/cbe5d94733687e21af45a9af.html?re=view