降维问题的优化目标:将一组N维向量降维k维(K大于0,小于N),其目标是选择K个单位(模为1)正交基,使得原始数据变换到这组基上后,
选择然数据点之间方差最大的方向作为坐标轴
各字段两两间协方差为0,而字段的方差则尽可能大
为什么协方差为0的时候,连个点的关系最小?
协方差计算公式
由于上面我们已经将每个字段的均值都化0 了,因此方差可以直接用每个元素的平方和除以元素个数表示
为了让协方差都等于0,需要对协方差矩阵进行矩阵对角化,把协方差矩阵变成对角矩阵
协方差矩阵原本就是对称矩阵
而一个n行n列的对称矩阵一定能找到n个单位正交特征向量,用这n个单位特征向量对协方差矩阵对角化
得到特征值
https://www.cnblogs.com/wj-1314/p/8032780.html