概率图模型（学习笔记）

概率图模型(PGM)：有向图模型，无向图模型和混合概率图模型。

• 有向概率图模型：隐马尔科夫模型，贝叶斯网络和动态贝叶斯网络。
• 无向概率图模型：马尔科夫随机场 MRF，——>条件随机场 CRF。
• 混合概率图模型：链图。

Markov-Gibbs的等价性

　　Harmmersley--Clifford定理： 已知网格位置集合S具有邻域系统N，如果S上的随机场X是一个GRF(Gibbs random field)，那么X也是一个MRF。

　　提供了随机场联合概率的一种表达方式。

马尔科夫随机场 VS 条件随机场

　　条件随机场模型是Lafferty于2001年，在最大熵模型和隐马尔科夫模型的基础上，提出的一种判别式概率无向图学习模型，是一种用于标注和切分有序数据的条件概率模型。

　　（1）产生式模型和判别式模型（Generative model vs. Discriminative model）　　

　　　　o和s分别代表观察序列和标记序列

　　　　产生式模型：构建o和s的联合分布p(s,o)，因可以根据联合概率来生成样本，如HMM，BNs，MRF。

　　　　判别式模型：构建o和s的条件分布p(s|o)，因为没有s的知识，无法生成样本，只能判断分类，如SVM，CRF，MEMM 。

　　　　产生式模型：无穷样本 ==》 概率密度模型 = 产生模型 ==》预测

　　　　判别式模型：有限样本 ==》 判别函数 = 预测模型 ==》预测

　　二者关系：由生成模型可以得到判别模型，但由判别模型得不到生成模型。

阅读参考

　　[1]https://www.zhihu.com/question/41872134

　　[2]http://blog.csdn.net/jiuerbujie/article/details/45696357

　　[3]https://www.quora.com/What-is-the-difference-between-Markov-Random-Fields-MRFs-and-Conditional-Random-Fields-CRFs-When-should-I-use-one-over-the-other

---

（1）在模式识别中，决策问题多为分类、判别问题；推断问题多为参数估计和假设检验问题。推断有样本估计总体，知道总体才好进行分类。

（2）在概率图模型中，学习和推理是两个主要问题。学习是从数据中学习模型的结构和参数，推理的目的是对给定的模型计算边缘分布和条件分布。

 参考：PGM：概率图模型Graphical Model  沈红杰, 基于单目视觉的场景理解算法研究[D]

---

图割方法

　　将能量最小问题转化为图割问题。求解图割的算法也就是解最小割的算法 :

　　1) Goldberg-Tarjan

　　2) Ford-Fulkerson

　　Ford–Fulkerson方法（Ford-Fulkerson method）或 Ford–Fulkerson算法（FFA）是一类计算网络流的最大流的贪心算法。 因为该方法寻找路径的方式并不是完全确定的，而且它也有几种实现方式^[1]与不同的时间复杂度^[2]，所以它被称为“方法”而不是“算法”。它在1956年由 L.R.Ford,Jr. 及 D.R.Fulkerson^[3] 发表。“Ford–Fulkerson”这个名词通常也用于Edmonds–Karp算法，这是一个特殊的Ford–Fulkerson算法实现。算法的思想如下：只要有一条从源（开始节点）到汇（结束节点）的路径，在所有的边上都有可用容量，就沿着这条路径发送一个流。 然后再找到另一条路径，一直到网络中不存在这种路径为止。一条有可用容量的路径被称为一个增广路。

　　3) 上诉两种方法的改进算法

参考文献

　　1) Boykov Y, Veksler O, Zabih R. Fast approximate energy minimization via graph cuts[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2001, 23(11):1222-1239.(如何用图建模,定义,证明,性质)

　　2) Boykov Y, Kolmogorov V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2004, 26(9):1124-37.(改进求解图割的算法,提供算法包)