• 【模式识别与机器学习】——3.5Fisher线性判别


    ---恢复内容开始---

    出发点

      应用统计方法解决模式识别问题时,一再碰到的问题之一就是维数问题。 在低维空间里解析上或计算上行得通的方法,在高维空间里往往行不通。 因此,降低维数有时就会成为处理实际问题的关键。

    问题描述

    考虑把d维空间的样本投影到一条直线上,形成一维空间,即把维数压缩到一维。

    然而,即使样本在d维空间里形成若干紧凑的互相分得开的集群,当把它们投影到一条直线上时,也可能会是几类样本混在一起而变得无法识别。

    但是,在一般情况下,总可以找到某个方向,使在这个方向的直线上,样本的投影能分得开。

    问题:如何根据实际情况找到一条最好的、最易于分类的投影线,这就是Fisher判别方法所要解决的基本问题。

    从d维空间到一维空间的一般数学变换方法

    Fisher准则函数的定义

    (1)几个必要的基本参量

        

      我们希望投影后,在一维Y空间中各类样本尽可能分得开些,即希望两类均值之差越大越好,同时希望各类样本内部尽量密集,即希望类内离散度越小越好。

     (2)Fisher准则函数

    (3)最佳变换向量W*的求取

    先修知识:Lagrange乘数法

    最佳变换向量的求取

    基于最佳变换向量w*的投影

      w*是使Fisher准则函数JF(w)取极大值时的解,也就是d维X空间到一维Y空间的最佳投影方向。有了w*,就可以把d维样本x投影到一维,这实际上是多维空间到一维空间的一种映射,这个一维空间的方向w*相对于Fisher准则函数JF(w)是最好的。 利用Fisher准则,就可以将d维分类问题转化为一维分类问题,然后,只要确定一个阈值T,将投影点yn与T相比较,即可进行分类判别。

  • 相关阅读:
    angular安装指定版本
    Fluttter通过按钮来打开抽屉Drawer或者endDrawer
    angular中的animation动画
    flutter pubspec.yaml配置文件详解
    angular-cli卸载安装
    angular的项目基本配置的了解
    angular使用代理解决跨域
    IOS开发之UI布局
    用Objective-C写了一个简单的批量更改文件名的程序
    使用Objective-C 计算代码运行时间
  • 原文地址:https://www.cnblogs.com/chihaoyuIsnotHere/p/9754730.html
Copyright © 2020-2023  润新知