机器学习——第二章笔记

基于距离的分类器

MED分类器

• 定义：把测试样本到每个类之前的距离作为决策模型，将测试样本判定为与其距离最近的类。

类的原型

• 概念：用来代表这个类的一个模式或者一组量，便于计算该类和测试样本之间的距离

[d(x,Ci)=d(y,Zi) ]

其中Z_i表示类C_i的原型

原型的种类

均值

最近邻

距离度量

方式：欧氏距离，曼哈顿距离，加权欧氏距离

MED分类器

概念：最小欧氏距离分类器。

• 距离衡量：欧氏距离
• 类的原型：均值
• 决策边界
  

特征白化

目的：去除特征变化的不同及特征之间的相关性。

• 特征正交白化
  
  
• 特征解耦
  

MICD分类器

概念：最小类内距离分类器，基于马氏距离的分类器。

• 判别公式
  
• 决策边界