作者:孙相国
定义1:因子与辖域
假定(D)表示随机变量集合,因子(phi)定义为从(Val(D))映射到实数域(R)的一个函数。假如因子的所有表值均非负,那么这个因子称为非负的。变量集(D)称为因子的辖域.
具体来讲,你可以简单地把因子想象为集合(D={X_1,X_2,cdots,X_n})的联合概率(当然,未必是联合概率,也可能是其他形式的局部概率,等等)特别的,令(X,Y,Z)为三个不相交的变量集,且令(phi_1(X,Y),phi_2(Y,Z))是两个因子。因子的乘积(phi_1 imes phi_2)定义为新的因子:(psi:Val(X,Y,Z) mapsto mathbb{R}):
(psi(X,Y,Z)=phi_1(X,Y) imesphi_(Y,Z)),关于因子的更多介绍,我们在上一篇博文中讲贝叶斯网络的时候,详细讨论过。这里不再多做解释。
定义2:成对、局部和全局马尔科夫性
以下内容引自李航《统计学习方法》
定义3:概率无向图模型
定义4:吉布斯分布与无向图因子分解
假如分布(P_phi)定义为:
[P_phi(X_1,X_2,cdots,X_n)=frac{1}{Z}hat{P_phi}(X_1,X_2,cdots,X_n) ag{1}
]
其中:
(P_hat{P_phi}(X_1,X_2,cdots,X_n)=phi_1(D_1) imesphi_2(D_2) imes cdots imesphi_m(D_m)),(D_i)为变量集合的一个划分。
(Z=sum_{X_1,cdots,X_n}hat{P_phi}(X_1,X_2,cdots,X_n)),为规范化因子。
则,分布(P_phi)成为因子集(phi={phi_1(D_1),cdots,phi_k(D_k)})参数化的吉布斯分布
特别的,如果上面的定义中(D_i)为无向图的最大团。那么式子((1))即为无向图联合概率分布的因子分解。函数(phi_i(D_i))称为势函数,通常要求为严格正的,一般定义为:
[phi_i(D_i)=exp{-E(D_i)} ag{2}
]
上述论断又称为Hammersley-Clifford定理