让我们回到小球检测的栗子,在一元高斯分布下,我们只使用了色相值这一个性质。然而,颜色其实是用多个维度来定义的。比如,在HSV模型下,除了色相值还有饱和度(Saturation)和亮度(Value)。而我们通常使用的三原色光模式(RGB模型)将颜色表示成红色(R)、绿色(G)和蓝色(B)的叠加。如果我们用RGB值来表示一个颜色,怎样表示我们栗子中的小球呢?我们将图片中所有像素点的RGB值用散点图的形式画出来可以得到下面的图:
那我们怎样对这种图形进行建模呢?如这一节的题目所说,我们将一元高斯分布扩展到多元高斯分布并对RGB值进行建模。
让我们首先来介绍多元高斯分布的数学形式吧:
多元高斯分布和一元高斯分布是十分相似的,我们用加粗的来表示变量(一个向量),表示维度(元的数目),加粗的表示平均向量,大写的表示协方差矩阵(Covariance Matrix,是一个方阵),表示的行列式值,表示矩阵的转置。
值得一提的是协方差矩阵,它由两部分组成,方差(Variance)和相关性(Correlation),对角线上的值表示方差,非对角线上的值表示维度之间的相关性。拿一个二维协方差矩阵作栗子:
其中,对角线上的和分别表示变量和的独立方差,非对角线上的表示两个变量之间的相关性(注意和是相等的)。
回到小球检测的栗子,我们考虑用RGB来对“红色”小球进行多元高斯分布的建模,那么各个参数就如下图所示了:
我们来看一下标准二元高斯分布图:
2、求解多元高斯分布:最大似然估计
和求解一元高斯分布类似,我们将问题描述为:给定观测值,求和,使得似然函数最大:
同样,假设观测值两两相互独立,根据独立概率公式,我们有:
同样(1)取对数,(2)将多元高斯分布的形式带入,我们有:
我们给目标函数做个记号,令
我们仍然分别对和求偏导来计算和。(这里需要矩阵求导的知识,可以参考Matrix Calculus Manual)
求得,