• 【模式识别与机器学习】——4.2特征选择


      设有n个可用作分类的测量值,为了在不降低(或尽量不降低)分类精度的前提下,减小特征空间的维数以减少计算量,需从中直接选出m个作为分类的特征。 问题:在n个测量值中选出哪一些作为分类特征,使其具有最小的分类错误?

      从n个测量值中选出m个特征,一共有 中可能的选法。 一种“穷举”办法:对每种选法都用训练样本试分类一下,测出其正确分类率,然后做出性能最好的选择,此时需要试探的特征子集的种类达到 种,非常耗时。 需寻找一种简便的可分性准则,间接判断每一种子集的优劣。 对于独立特征的选择准则 一般特征的散布矩阵准则

      对于独立特征的选择准则 类别可分性准则应具有这样的特点,即不同类别模式特征的均值向量之间的距离应最大,而属于同一类的模式特征,其方差之和应最小。 假设各原始特征测量值是统计独立的,此时,只需对训练样本的n个测量值独立地进行分析,从中选出m个最好的作为分类特征即可。

    讨论:

      上述基于距离测度的可分性准则,其适用范围与模式特征的分布有关。 三种不同模式分布的情况 (a) 中特征xk的分布有很好的可分性,通过它足以分离i和j两种类别; (b) 中的特征分布有很大的重叠,单靠xk达不到较好的分类,需要增加其它特征; (c) 中的i类特征xk的分布有两个最大值,虽然它与j的分布没有重叠,但计算Gk约等于0,此时再利用Gk作为可分性准则已不合适。 因此,假若类概率密度函数不是或不近似正态分布,均值和方差就不足以用来估计类别的可分性,此时该准则函数不完全适用。

      类内、类间的散布矩阵Sw和Sb 类间离散度越大且类内离散度越小,可分性越好。 散布矩阵准则J1和J2形式 使J1或J2最大的子集可作为所选择的分类特征。 注:这里计算的散布矩阵不受模式分布形式的限制,但需要有足够数量的模式样本才能获得有效的结果

     

  • 相关阅读:
    sql-server数据库中利用触发器实现表与表之间的级联删除
    求任意长度数组的最大值(整数类型)。利用params参数实现任意长度的改变。
    params参数的调用
    C# 参考之方法参数关键字:params、ref及out
    写一个方法求数组中的最大值,最小值,总和以及平均值。
    写一个方法来解析一元二次方程。
    创建一个方法来判断是否为闰年。。
    构造方法
    总结重写和重载区别
    DelegatingActionProxy
  • 原文地址:https://www.cnblogs.com/chihaoyuIsnotHere/p/9797840.html
Copyright © 2020-2023  润新知