• 正态分布的条件分布与边缘分布


    本文总结多元正态分布的条件分布与边缘分布,证明不难,但都比较繁琐,故不做详细证明,有兴趣可以参考Pattern Recognition and Machine Learningy一书。

    1 正态分布的条件分布

    对于联合正态分布变量\(x\sim N(\mu,\Sigma)\),定义精度矩阵(the precision matrix)为协方差矩阵的逆,即\(\Lambda\equiv \Sigma^{-1}\),做分块处理:

    \[x=\begin{bmatrix} x_a \\ x_b \end{bmatrix}, \mu=\begin{bmatrix} \mu_a \\ \mu_b \end{bmatrix},\Sigma=\begin{bmatrix} \Sigma_{aa} &\Sigma_{ab} \\ \Sigma_{ba}& \Sigma_{bb} \end{bmatrix}, \Lambda=\begin{bmatrix} \Lambda_{aa} &\Lambda_{ab} \\ \Lambda_{ba}& \Lambda_{bb} \end{bmatrix} \]

    那么,条件分布

    \[p(x_a|x_b)=N(\mu_{a|b}, \Lambda^{-1}) \]

    其中

    \[\mu_{a|b}=\mu_a-\Lambda_{aa}^{-1} \Lambda_{ab}(x_b-\mu_b) \]

    如何证明?证明的关键在于,对于正态分布的密度函数来说,它的指数项都可以写作

    \[-\dfrac{1}{2}(x-\mu)'\Sigma^{-1}(x-\mu)=-\dfrac{1}{2}x'\Sigma^{-1}x+x'\Sigma^{-1}\mu+C \]

    其中\(C\)是常数项。

    因此,只需将联合分布的密度函数展开,再将其关于\(x_a\)的二次项、一次项整理出来,利用其系数即可得到\(\Sigma^{-1}\)\(\mu\)的表达式。

    2 正态分布的边缘分布

    按与上一节同样的设定,\(x_a\)的边缘分布为

    \[p(x_a)=N(x_a| \mu_a, \Sigma_{aa}) \]

    如何证明?只需将原来的密度函数对\(x_b\)积分即可,利用配方,积分并不困难。

    或者,取\(A=[I,0]\),则有\(Ax=x_a\sim N(A\mu,A\Sigma A')\),展开后即可直接得到上面的结果。

  • 相关阅读:
    Google提出的新型激活函数:Swish
    Rosonblatt线性感知器
    Rosonblatt线性感知器
    毕业的到来
    陌生人
    学会感恩
    session和el表达式
    cooking和session
    不離不棄
    生活
  • 原文地址:https://www.cnblogs.com/analysis101/p/14657466.html
Copyright © 2020-2023  润新知