特征值特征向量的形象理解

特征值特征向量在机器视觉中很重要，很基础，学了这么多年数学一直不理解特征值特征向量到底表达的物理意义是什么，在人工智能领域到底怎么用他们处理数据，当然笔者并不打算把文章写成纯数学文章，而是希望用直观和易懂的方式进行解释。

在数学上，特别是线性代数中，对于一个给定的线性变换，它的特征向量（eigenvector，也译固有向量或本征向量） 经过这个线性变换之后，得到的新向量仍然与原来的 保持在同一条直线上，但其长度或方向也许会改变。即，

为标量，即特征向量的长度在该线性变换下缩放的比例，称 为其特征值（本征值）。如果特征值为正，则表示 在经过线性变换的作用后方向也不变；如果特征值为负，说明方向会反转；如果特征值为0，则是表示缩回零点。但无论怎样，仍在同一条直线上。

 

可对角化矩阵是：如果一个方块矩阵 A 相似于对角矩阵，也就是说，如果存在一个可逆矩阵 P 使得 P ⁻¹AP 是对角矩阵，则它就被称为可对角化的。对角化是找到可对角化矩阵或映射的相应对角矩阵的过程。

线性代数中的正交化指的是：从内积空间（包括常见的欧几里得空间）中的一组线性无关向量v₁，...，v_k出发，得到同一个子空间上两两正交的向量组u₁，...，u_k。如果还要求正交化后的向量都是单位向量，那么称为标准正交化。一般在数学分析中采用格拉姆-施密特正交化作正交化的计算：

https://zh.wikipedia.org/wiki/%E6%A0%BC%E6%8B%89%E5%A7%86-%E6%96%BD%E5%AF%86%E7%89%B9%E6%AD%A3%E4%BA%A4%E5%8C%96

 

对于一个N阶方阵进行特征分解，然后正交化，就会产生该空间的N个标准正交基，然后矩阵投影到这N个基上，N个特征向量就是N个标准正交基。而特征值得模，则代表矩阵在每个基上的投影长度。特征值越大，说明矩阵在对应的特征向量上的方差越大，信息量越多。

 

最优化中，意思是对R的二次型，自变量在这个方向的上变化的时候对函数的影响最大，也就是该方向上的方向导数最大。

在数据挖掘和机器学习中，最大的特征值对应的特征向量方向上包含最多的信息量，如果几个特征值很小，说明这几个方向信息量很小，可以用来降维，也就是删除小特征值对应方向的数据，只保留大特征值方向对应的数据，这样做以后，数据量减小，但信息量变化不大。

 

特征向量相互正交（相当于欧式几何坐标基轴）

 

数据维度与特征个数相对应。