线性判别分析 LDA

点到判决面的距离

点(x_0)到决策面(g(x)= w^Tx+w_0)的距离：(r={g(x)over |w|})

广义线性判别函数

因任何非线性函数都可以通过级数展开转化为多项式函数（逼近），所以任何非线性判别函数都可以转化为广义线性判别函数。

Fisher LDA(线性判别分析)

Fisher准则的基本原理

找到一个最合适的投影轴，使两类样本在该轴上投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使两类分类效果为最佳。

分类：将 d 维分类问题转化为一维分类问题后，只需要确定一个阈值点，将投影点与阈值点比较，就可以做出决策。

未知样本x的投影点 (y= w ^{* T} x).

Fisher方法实现步骤总结

1. 计算各类样本均值向量:

   [m_i={1over N_i}sum_{Xin w_i}X,quad i=1,2 ]

2. 计算样本类内离散度矩阵(S_i)和总类内离散度矩阵(S_w).
   (w ithin scatter matrix)

   [S_i=sum_{Xin w_i}(X-m_i)(X-m_i)^T,quad i=1,2 \ S_w=S_1+S_2 ]

3. 计算样本类间离散度矩阵(S_b=(m_1-m_2)(m_1-m_2)^T).
   (b etween scatter matrix)

4. 求向量(w^*).定义Fisher准则函数：

   [J_F(w)={w^TS_bwover w^TS_ww} ]

   (J_F)取最大值时(w^*=S_w^{-1}(m_1-m_2))
   Fisher准则函数推导:投影之后点(y= w ^{T} x),y对应的离散度矩阵为( ilde S_w, ilde S_b),则用以评价投影方向w的函数为(J_F(w)={ ilde S_bover ilde S_w}={w^TS_b wover w^TS_w w})

5. 将训练集内所有样本进行投影：(y=(w^*)^TX)

6. 计算在投影空间上的分割阈值，较常用的一种方式为：

   [y_0={N_1widetilde {m_1}+N_2widetilde{m_2}over N_1+N_2} ]

7. 对于给定的测试X，计算它在(w^*)上的投影点(y=(w^*)^TX)。

8. 根据决策规则分类，有：

   [egin{cases} y>y_0 Rightarrow Xin w_1 \ y<y_0 Rightarrow Xin w_2 end{cases} ]

   ​