- 贝叶斯网络:信念网络或有向无环图
贝叶斯网络采样
- 祖先采样:根据有向图的顺序,先对祖先节点进行采样,只有当某个节点的所有父节点都已完成采样,才对该节点进行采样
- 祖先采样得到的样本服从联合概率分布
部分随机变量的边缘分布
- 用祖先采样对所有变量进行采样
- 忽视那些不需要的变量的采样值,知道边缘分布
含有观测变量的采样
- 逻辑采样:
- 利用祖先采样得到所有变量的取值
- 如果这个样本在观测变量上的取值和实际观测值一样,则接受,否则拒绝,重新采样
- 缺点:效率低,观测变量越多,效率越低
- 重要性采样-似然加权采样
- 只对非观测变量进行采样,但最终样本需要赋予重要性权重:[w propto prod limits_{z_i in E} p(z_i | pa(z_i)) ]
- 其中(E)是观测变量集合,(pa(z_i))是(z_i)的祖先的概率
- 只对非观测变量进行采样,但最终样本需要赋予重要性权重:
- MCMC采样法
- Metropolis-Hastings采样
- 在采样变量组成的随机向量上选择一个概率转移矩阵
- 按照概率转移矩阵不断进行状态转换,每个转移有一定概率的接受或拒绝
- 最终的样本序列会收敛到目标分布
- 吉布斯采样
- 求得向量上的维度的条件概率
- 每次只对一个变量进行采样,交替进行即可
- Metropolis-Hastings采样