Hinton和Ranzato最新的文章http://www.cs.toronto.edu/~vmnih/docs/ranzato_pami13.pdf中用到了MRF马尔科夫随机场。
一篇博客http://blog.csdn.net/polly_yang/article/details/9716591
无向图模型(undirected graphical model),又可称为马尔可夫随机场(Markov random field),是一个可以由无向图表示的联合概率分布。
设有联合概率分布(P(X)),(X subset mathcal{X})是一组随机变量,由无向图(G = (V,E))表示,即在图(G)中,结点(v in V)表示随机变量(x_v),(X = {x_v}_{v in V}),边(e in E)表示随机变量之间的依赖关系。下面定义无向图表示的随机变量之间存在的成对马尔可夫性(pairwise Markov property)、局部马尔可夫性(local Markov property)和全局马尔可夫性(global Markov property)。
成对马尔可夫性:设(u)和(v)是无向图(G)中任意两个没有边连接的结点,分别对应随机变量(x_u)和(x_v)。其他所有结点记为(O),对应随机变量组(x_O)。成对马尔可夫性是指给定(x_O)的条件下,随机变量(x_u)和(x_v)是条件独立的,即
[
P(x_u, x_v | x_O) = P(x_u | x_O)P(x_v|x_O)
]
局部马尔可夫性:设(v in V)是无向图(G)中任意一个结点,(W)是与(v)由边连接的所有结点,(O)是(v,W)以外的所有结点,(v)表示随机变量(x_v),(W)表示随机变量组(X_W),(O)表示随机变量组(X_O)。局部马尔可夫性是指在给定随机变量组(x_W)的条件下,随机变量(x_v)与随机变量组(x_O)是条件独立的,即
[
P(x_v,x_O|x_W) = P(x_v|x_W)P(x_O|x_W)
]
在(P(x_O|x_W) > 0)时,等价的,
[
P(x_v|x_W) = P(x_v|x_W,x_O)
]
全局马尔可夫性:设结点集合(A)、(B)是在无向图(G)中被结点集合(C)分开的任意点集合,(A)、(B)和(C)分别对应随机变量组(x_A)、(x_B) 和(x_C)。全局马尔可夫性是指给定随机变量组(x_C)的条件下,随机变量组(x_A)和(x_B)是条件独立的,即
[
P(x_A,x_B|x_C) = P(x_A|x_C)P(x_B|x_C)
]
上述成对的、局部的、全局的马尔可夫性定义是等价的。cite{book:LH}
限制玻尔兹曼机(Restricted Boltzmann Machine)是一种关于可视层(v)和隐藏层(h)的,成对的马尔可夫随机场。它定义的联合分布满足
[
P(h,v| heta) = frac{1}{Z( heta)} prod_{i=1}^I prod_{j=1}^J psi_{ij}(v_i, h_j ; heta)
]