由于概率论在模式识别中占有举足轻重的位置,所以这章就专门讲一讲几个典型的概率分布和它们的性质。另外还涉及一些简单的统计学概念。
概率分布就是给p(x)建立模型,又称为密度估计(density estimation)。说到底也就是个建模,所以每一个模型都是不适定的,模型也有无限多可能性,选取合适的模型就成立模式识别中的一个重要议题。
这无限多的模型可以被分成两大类:parametric distribution与nonparametric distribution
parametric distribution:
之所以这么叫是因为它们的表现好坏是由一系列参数控制的,比如高斯分布中的u与那个方差。
确定这种分布要由给定数据确定参数值。
常见的做法有:
找到参数使某某值最小等(likelihood function),最优化那个做法。
贝叶斯做法,通过给定数据、先验分布确定后验分布。
其中贝叶斯做法中一类特殊情况可以大大简化分析过程,即为conjugate priors。都属于exponential family of distribution
缺点:参数分布的缺点是提前已经确定了分布函数的框架了,对一些特定的情况不合适。有局限性。
nonparametric distribution:
分布的模式只与数据集的大小有关,其中的参数也只是确定复杂度用的。