主成分分析
- 线性、非监督、全局的降维算法
PCA最大方差理论
-
出发点：在信号处理领域，信号具有较大方差，噪声具有较小方差
-
目标：最大化投影方差，让数据在主投影方向上方差最大
-
PCA的求解方法：
-
对样本数据进行中心化处理
-
求样本协方差矩阵
-
对协方差矩阵进行特征分解，将特征值从大到小排列
-
取特征值前d大对应的特征向量(w_1, w_2, cdots, w_d),通过以下变换将n维样本映射到d维
[x^{'}_i = egin{bmatrix} w_1^{T}x_i \ w_2^Tx_i \ cdots \ w_d^Tx_i end{bmatrix} ]新的(x^{'}_i) 的第d维就是(x_i)在第d个主成分(w_d)方向上的投影
-
-
局限性：
- 线性降维
- 通过核映射对PCA进行扩展得到核主成分分析（KPCA）
PCA最小平方误差理论
-
出发目标：找到一个d维超平面，使得数据点到这个超平面的距离平方和最小
-
优化目标：
[egin{aligned} mathop{argmin}_{w_1, dots, w_d} sum limits_{k=1}^{n}||x_k - ilde{x}_k||_2 \ s.t. quad w_i^Tw_j = egin{cases} 1, i = j \ 0, i eq j end{cases} end{aligned} ]( ilde{x}_k)是投影向量
线性判别分析
二分类
-
监督降维方法（LDA）
-
PCA算法没有考虑到数据标签，可能会导致映射后无法进行分类
-
中心思想：最大化类间距离和最小化类内距离
-
对于二分类
-
类间散度矩阵：(S_B = (mu_1 - mu_2)(mu_1 - mu_2)^T)
-
类内散度矩阵：(S_w = sum limits_{x in C_i}(x - mu_i)(x - mu_i)^T)
-
优化目标：
[J(w) = frac{w^T S_B w}{w^T S_w w} = lambda ] -
(S_w^{-1}S_Bw = lambda w) (J(w))对应了矩阵(S_w^{-1}S_B)最大的特征值，而投影方向就是这个特征值对应的特征向量
-
-
对数据分布做了强假设：每个类数据都是高斯分布、各个类的协方差相等
-
优点：线性模型对噪声的鲁棒性比较好
-
缺点：模型简单也有假设，可以通过引入核函数处理分布较复杂的数据
具有多个类别标签的高维数据LDA方法
-
计算数据集每个类别的均值(mu_j) 和总体均值(mu)
-
计算类内散度矩阵(S_w) ,全局散度矩阵(S_t) ,并得到类间散度矩阵(S_B = S_t - S_w)
-
对(S_w^{-1}S_B)矩阵进行特征值分解，将特征值从大到小排列
-
取特征值前d大对应的特征向量(w_1, w_2, cdots, w_d),通过以下变换将n维样本映射到d维
[x^{'}_i = egin{bmatrix} w_1^{T}x_i \ w_2^Tx_i \ cdots \ w_d^Tx_i end{bmatrix} ]新的(x^{'}_i) 的第d维就是(x_i)在第d个主成分(w_d)方向上的投影
PCA和LDA的区别与联系
-
联系：求解过程很类似
-
区别：
- 数学原理
- 优化目标
- 应用场景：对无监督任务使用PCA降维，对有监督则使用LDA。
- 从音频中提取语音信号，用PCA过滤掉噪声
- 声纹识别，用LDA使每个人的声音信号具有区分性