• An Introduction to Variational Methods (5.2)


    我们现在已经得到了关于潜在变量Z的优化分布的表达形式:

    其中:

    所以现在我们可以得到Z的期望:

    另外对于Z还值得一提的是,我们从其优化分布的表达式中可以看出,各个Z的组成部分之间还是相互耦合的,所以需要一个迭代的求解方式。

    解决了关于Z的一些遗留的问题,我们可以继续讨论如何求解余下的参数。同样的,我们的基本想法,还是将其带入我们之前所求到的公式中去,从而,我们有:

    现在,我们回头去观察一下这个混合高斯分布的图模型,我们会发现,在控制变量中,本身存在一个独立性,即:

    从而,在近似模型中,我们有:

    于是,我们从这些参数的优化表达式中,分别提取出只关于部分参数的式子,进行进一步优化,即:

    ‍‍

    现在,我们对上式两边同时求指数运算,则:


    看到这个形式是不是觉得非常熟悉呢?没错,这是一个Dirichlet分布的标准形式,从而我们可以得到关于pi的优化分布:

    其中

    我们现在可以开始讨论最后两个参数了。虽然我们知道余下的两个参数之间有依赖关系,从而不能分解成为两个边缘分布的乘积,但是我们依然可以根据product-rule将其分解成为:

    现在,我们从之前的求解式中将只含有这两个变量的部分提取出来,于是我们得到:

    观察这个式子,我们发现其实对于K组参数,这个式子都是同样的,所以我们可以单独只考虑其中一组变量:

    我们对两边同时进行指数运算,则有:

    现在我们来分别看看这些分布的形式:



    其中,B是Wishart分布的归一化常数


    其中:

    我们注意上面这个式子,它的指数部分,展开之后,可以得到:

    观察这个式子,我们发现,其中关于mu的二阶式和一阶式,也就是上面这个式子的前三项,和mu本身的分布合并,可以化归成为一个新的Gaussian分布;而上面式子的最后一项,则可以被Lambda的Wishart分布所吸收合并,成为一个新的Wishart分布。这样,我们就找到了这两个参数的分布形式,他们是一个新的Gassian-Wishart分布:

    其中,定义了:

  • 相关阅读:
    IIT(ISM) Virtual Farewell E Dictator's plan for Valentine's day! 二分
    HDU
    LightOJ
    HDU 4407 Sum 容斥原理
    HDU 4686 Arc of Dream 矩阵快速幂
    uoj418
    Gym101237C The Palindrome Extraction Manacher
    Codeforces 100032 K
    codechef Suffix Palindromes
    Codeforces 932G Palindrome Partition
  • 原文地址:https://www.cnblogs.com/downtjs/p/3477116.html
Copyright © 2020-2023  润新知