参数估计法——最大似然估计和贝叶斯参数估计

• 为什么要用参数估计？
  • 在贝叶斯方法中，要事先估计先验概率和条件密度函数，然后再设计分类器。但是多数情况下训练样本数总是太少，而且当用于表示特征维数较高时，对条件密度函数的估计就会计算复杂度较高。
  • 因此，如果我们已经事先知道参数的个数，并且先验知识允许我们能够把条件概率密度参数化，就可以使问题难度显著降低。
  • 例如，如果我们可以假设条件概率密度p(x|wi)是一个多元正态分布，其均值为ui，协方差矩阵为Σ_i （参数的具体值是未知的）。这样就把问题从估计完全未知的概率密度p(x|wi)转化为估计参数ui和Σ_i  。

• 两种比较有效地参数估计方法：
  • 最大似然估计：把待估计的参数看作是确定的量，只是其取值未知。最佳估计就是使得产生训练样本的概率最大的那个值。
  • 贝叶斯参数估计：把待测的参数看成是符合某种先验概率分布的随机变量。对样本进行观测的过程就是把先验概率密度转化为后验概率密度，这样就利用样本的信息修正了对参数的初始估计值。一个典型的效果就是，每得到新的观测样本，都使得后验概率密度函数变得更加尖锐，使其在待估参数的真实值附近形成最大的尖峰。（贝叶斯学习过程）

• 非参数估计法（Nonparametric procedure）
  • 首先对特征空间进行变换，然后在变换空间中再采用参数化的方法，用以达到简化问题的目的。