第6章：概率图模型

非常重要：

逻辑归回模型与最大熵模型的等价性：逻辑回归模型，本质上就是一个最大熵模型

最大熵模型，是基于最大熵原理的判别模型

最大熵原理，在满足约束条件的情况下，选择熵最大的模型

1概率图模型分类

1.1有向图模型

1.1.1静态贝叶斯网络

1.1.2动态贝叶斯网络

1.1.2.1隐马尔科夫模型：用于语音识别、汉语自动分词、词性标注、统计机器翻译

1.1.2.2卡尔曼滤波器：用于信号处理

1.2无向图模型

1.2.1马尔科夫网络：马尔科夫随机场

1.2.1.1吉布斯/玻尔兹曼机：依存句法分析、语义角色标注

1.2.1.2条件随机场：用于序列标注、特征选择、机器翻译

2、贝叶斯网络

3、马尔科夫网络

3.1、与贝叶斯网络区别：可以表达贝叶斯网络无法表达的关系；无法表达贝叶斯网络可以表达的推导关系

3.2、由无向图和图上的似函数构成

3.3、最大团和团势能函数（RBM中就有，BM本身也是一个概率图模型）

3.4、无向图上的联合概率密度函数，是最大团上势能函数的乘积（归一化）

4、MEMM

4.1、HMM的问题：

1）很多标记任务中，观测值不能枚举，需要用特征来刻画序列，比如一个未见过的公司名称；也就是说，需要用特征对观察序列参数化。

2）在很多NLP任务中，需要求解已知观察序列下的状态序列，HMM使用状态序列和观察序列的联合概率P（S,O）来求解P(S|O)，

这种情形不适合使用很多观察特征描述观察序列的情况。

MEMM直接求解P(S|O)

如果发现文中有问题，敬请联系作者批评指正，真诚欢迎您的指教，谢谢！

微信: legelsr0808

邮箱: legelsr0808@163.com