贝叶斯网络——概率图模型之有向图

目录

• 图模型
• 贝叶斯网络
• 条件独立的三种情况
  • 第一种情况tail-to-tail
  • 第二种情况tail-to-head
  • 第三种情况head-to-head
• D-seperation
• 贝叶斯网络模型

图模型

图模型是用图的方式表示概率推理 ，将概率模型可视化，方便展示变量之间的关系，概率图分为有向图和无向图。有向图主要是贝叶斯网络，无向图主要是马尔科夫随机场。

贝叶斯网络

为了理解有向图对于描述概率分布的作⽤，⾸先考虑三个变量(a, b, c)上的⼀个任意的联合分布(p(a, b, c))。通过使⽤概率的乘积规则，我们可以将联合概率分布写成如下形式:

[p(a,b,c)=p(c|a,b)p(a,b) ]

再次使用乘积规则，这次处理方程右侧的第二项，我们有:

[p(a,b,c)=p(c|a,b)p(b|a)p(a) ]

这个分解方法对于任意的联合概率分布都成立。我们可以使用一个简单的图模型来表示该式的右侧。

在该图中，我们为每个随机变量(a,b,c)都引入一个结点，然后对于每个条件概率分布，都在图中添加一条有向边，边的tail是条件概率中条件对应的随机变量的结点，例如对于因子(p(c|a,b))，会存在从结点(a,b)到结点(c)的边，而对于因子(p(a)),没有输入的边。

对于上图，这个图的概率模型如下:

[p(x_1,x_2,cdots,x_7)=p(x_1)p(x_2)p(x_3)p(x_4|x_1,x_2,x_3)p(x_5|x_1,x_3)p(x_6|x_4)p(x_7|x_4,x_5) ]

因此形式化一下，贝叶斯网络表示的联合分布是:

[p(x)=sum_{k=1}^Kp(x_k|p_{a_k}) ]

其中,(p_{a_k})是(x_k)的所有父节点。

条件独立的三种情况

条件独立这个概念，我们在朴素贝叶斯中接触过，意思是给定(a,b,c)，如果(p(a,b|c)=p(a|c)p(b|c))，则说明给定(c)，(a)和(b)条件独立。在贝叶斯网络中，条件独立的图模型主要有以下三种情况:

第一种情况tail-to-tail

(C)位于两个箭头的尾部，称作(tail-to-tail)，这种情况，(c)未知的时候，(a,b)是不独立的。(c)已知的时候，(a,b)条件独立。
在(c)未知的时候，(p(a,b))如下求解：

[p(a,b)=sum_c{p(a|c)p(b|c)p(c)} ]

可以看出，无法得出:(p(a,b)=p(a)p(b))，所以(a,b)不独立。
如果(c)已知，则:

[p(a,b|c)=frac{p(a,b,c)}{p(c)}=frac{p(a|c)}{p(b|c)} ]

所以(a,b)条件独立于(c)。

第二种情况tail-to-head

如图：

这种情况也是(c)未知时，(a)和(b)不独立，(c)已知时，(a)和(b)条件不独立。(c)已知时，(a)和(b)条件独立于(c)，推导如下:

[p(a,b|c)=frac{p(a,b,c)}{p(c)}=frac{(p(a)p(c|a)p(b|c)}{p(c)}=p(a|c)(b|c) ]

第三种情况head-to-head

如图:

这种情况反过来了，(c)未知时，(a)和(b)是独立的，但当(c)已知时，(a)和(b)不满足条件独立，因为:

[p(a,b,c)=p(a)p(b)p(c|a,b) ]

计算该概率的边界概率，得：

[p(a,b)=p(a)p(b) ]

所以(a)和(b)相互独立。
但是当(c)已知时：

[p(a,b|c)=frac{p(a,b,c)}{p(c)}=frac{p(a)p(b)p(c|a,b)}{p(c)} ]

无法得到(p(a,b|c)=p(a|c)p(b|c))

D-seperation

将这三种情况总结，就是贝叶斯网络的一个重要概念，D-separation，这个概念的内容就是:
(A,B,C) 三组节点，如果(A)中的任意节点与(B)的任意节点的所有路径上，存在以下节点，就说(A)和(B)被(C)阻断：

• (A)到(B)的路径上存在tail-to-tail或head-to-tail形式的节点，并且该节点属于(C)
• 路径上存在head-to-head的节点，并且该节点不属于(C)
  举个栗子：
  
  在上图中，假设(a)中的(c)和（b）中的(f)是已知的。
  （a）中，节点(f)和节点(e)都不是d-seperation的。因为(f)是tail-to-tail，但(f)不是已知的，因此(f)不属于(C)。(e)是head-to-head，但(e)的子节点(c)是已知的，所以(e)也不属于(C)。
  同理（b）中，(f)和(e)都是d-seperation。

贝叶斯网络模型

• 单一: 朴素贝叶斯
• 混合: GMM
• 时间: 马尔科夫链 、 高斯过程
• 连续: 高斯贝叶斯网络

总结: 因为有了这些条件独立的规则，我们可以将图理解成一个filter。即给定一系列随机变量，其联合分布(p(x_1,x_2,cdots,x_n))，理论上可以分解成各种条件分布的乘积，但过一遍图，不满足图表示依赖关系和条件独立的分布就被过滤掉。所以图模型，用不同随机变量之间的链接表示各种关系，可以表示复杂的分布模型。