线性降维-笔记(2)

4 - MDS

MDS全称"Multidimensional Scaling",多维缩放。其主要思想就是给定一个原始空间的，原始样本两两之间的距离矩阵；期望能在新空间中找到一个新的样本特征矩阵，使得其新样本两两之间的距离矩阵与原始的距离矩阵相等。因为(d' leq d)，所以完成了降维的任务。

即假定有(m)个原始样本的距离矩阵为(Din R^{m imes m}),其第(i)行第(j)列元素(D_{ij})为样本({f x}_i)和({f x}_j)之间的距离。以期望在(d')维空间中找到样本表示的矩阵({f X}'in R^{d' imes m})，其中(d' leq d)，且任意两个样本在(d')维空间中的欧式距离等于原始空间中的距离，即(||{f x}_i-{f x}_j||=D_{ij}).
ps：MDS大多都还是使用的欧式距离来作为样本之间的测量方法，更多的方法看下面的表4.1.

另({f D'}={f X'}^T{f X'}in R^{m imes m}),其中({f D'})为降维后样本的内积矩阵，({D'}_{ij}={f x'}_i^T{f x'}_j),则有：

[egin{eqnarray}D_{ij}^2 &=&||{f x'}_i-{f x'}_j||^2\ &=&||{f x'}_i||^2+||{f x'}_j||^2-2{f x'}_i^T{f x'}_j\ &=&{D'}_{ii}+{D'}_{jj}-2{D'}_{ij} end{eqnarray} ag{4.1}]

假设求得的降维后样本已经中心化了，即(sum_i^m{f x'}=mmu_{f x'}=0),则可以看出矩阵({f D'})的行之和等于列之和都为零，即

[sum_i^m{D'}_{ij}=sum_j^m{D'}_{ij}=0 ag{4.2} ]

则4.2，4.1可得：

[egin{eqnarray}sum_i^m{D}_{ij}^2 &=&sum_i^mleft({D'}_{ii}+{D'}_{jj}-2{D'}_{ij} ight)\ &=&sum_i^m{D'}_{ii}+m{D'}_{jj}-2sum_i^m{D'}_{ij}\ &=&tr({f D'})+m{D'}_{jj} end{eqnarray} ag{4.3}]

同理：

[sum_j^m{D}_{ij}^2=tr({f D'})+m{D'}_{ii} ag{4.4} ]

则：

[egin{eqnarray}sum_i^msum_j^m{D}_{ij}^2 &=&sum_i^mleft(tr({f D'})+m{D'}_{ii} ight)\ &=&mtr({f D'})+sum_i^mm{D'}_{ii}\ &=&2mtr({f D'}) end{eqnarray} ag{4.5}]

令：
({overline D}_{i.}^2=frac{1}{m}sum_j^m{D}_{ij}^2 ag{4.6})
({overline D}_{.j}^2=frac{1}{m}sum_i^m{D}_{ij}^2 ag{4.7})
({overline D}_{..}^2=frac{1}{m^2}sum_i^msum_j^m{D}_{ij}^2 ag{4.8})
由4.1-4.8得：

[egin{eqnarray}{D'}_{ij} &=&-frac{1}{2}left({D}_{ij}^2-{D'}_{ii}-{D'}_{jj} ight)\ &=&-frac{1}{2}left[{D}_{ij}^2-frac{1}{m}left(sum_j^m{D}_{ij}^2-frac{1}{2m}sum_i^msum_j^m{D}_{ij}^2 ight)-frac{1}{m}left(sum_i^m{D}_{ij}^2-frac{1}{2m}sum_i^msum_j^m{D}_{ij}^2 ight) ight]\ &=&-frac{1}{2}left(D_{ij}^2-{overline D}_{i.}^2-{overline D}_{.j}^2+{overline D}_{..}^2 ight) end{eqnarray}]

从而可以计算得到降维后的样本距离矩阵(f D')。
对矩阵(f D')做特征值分解，({f D'}=f VLambda V^T)，其中({f Lambda}=diag(lambda_1,lambda_2,...lambda_d))为特征值构成的对角矩阵，且按照从大到小排序，(f V)为特征向量矩阵，假设其中有(d^*)个非零特征值，则构成对角矩阵({f Lambda}_*=diag(lambda_1,lambda_2,...lambda_{d^*})),令(f V_*)表示对应的特征向量矩阵，则({f X'})可得：

[{f X'}={f Lambda_*^{1/2}}{f V}_*^Tin R^{{d^*} imes m} ]

表4.1 定量数据之间的相关性测量

距离测量	式 子
欧式距离	(D_{rs}={sum_i^d(x_{ri}-x_{si})^2}^{1/2})
权重欧式距离	(D_{rs}={sum_i^dw_i(x_{ri}-x_{si})^2}^{1/2})
马氏距离	(D_{rs}={({f x}_{r}-{f x}_{s})^TSigma^{-1}({f x}_{r}-{f x}_{s})}^{1/2})
City block测量	$D_{rs}=sum_i^d
Minkowski测量	$D_{rs}={sum_i^dw_i
Canberra测量	$D_{rs}=sum_i^dfrac{
Divergence	(D_{rs}=frac{1}{d}sum_i^dfrac{(x_{ri}-x_{si})^2}{(x_{ri}+x_{si})^2})
Bray-Curtis	$D_{rs}=frac{1}{d}frac{sum_i^d
Soergel	$D_{rs}=frac{1}{d}frac{sum_i^d
Bhattacharyya距离	(D_{rs}=sqrt{sum_i^dleft(sqrt{(x_{ri})}-sqrt{(x_{si})} ight)^2})
Wave-Hedges	(D_{rs}=sum_i^dleft(1-frac{min(x_{ri},x_{si})}{max(x_{ri},x_{si})} ight))
Angular separation	(D_{rs}=1-frac{sum_i^dx_{ri}x_{si}}{left[sum_i^dx_{ri}^2sum_i^dx_{si}^2 ight]^{1/2}})
Correlation	(D_{rs}=1-frac{sum_i^d(x_{ri}-overline x_r)(x_{si}-overline x_s)}{left[sum_i^d(x_{ri}-overline x_r)^2sum_i^d(x_{si}-overline x_s)^2 ight]^{1/2}})

5 - ICA

6 - LFA

7 - LPP

参考文献:
[] 周志华 机器学习
[] Michael A.A. Cox, Trevor F. Cox. Multidimensional Scaling