特征值和特征向量的物理意义
ABSTRACT:
特征向量：它经过这种特定的变换后保持方向不变。只是进行长度上的伸缩而已。
特征值： 一个变换（矩阵）可由它的所有特征向量完全表示，而每一个向量所对应的特征值，就代表了矩阵在这一向量上的贡献率——说的通俗一点就是能量（power）。
内积：内积可以简单的理解为两个函数的相似程度,内积值越大表示两个函数相似程度越大,内积为零表示完全不相似。两个函数内积为零则两个函数正交,在三维空间中它们的夹角为90度,在三维以上不是这样的。
CONTENT
矩阵(既然讨论特征向量的问题。当然是方阵。这里不讨论广义特征向量的概念)乘以一个向量的结果仍是同维数的一个向量。因此。矩阵乘法对应了一个变换。把一个向量变成同维数的另一个向量。那么变换的效果是什么呢?这当然与方阵的构造有密切关系。比如可以取适当的二维方阵。使得这个变换的效果就是将平面上的二维向量逆时针旋转30度。这时我们可以问一个问题。有没有向量在这个变换下不改变方向呢?可以想一下。除了零向量。没有其他向量可以在平面上旋转30度而不改变方向的。所以这个变换对应的矩阵(或者说这个变换自身)没有特征向量(注意:特征向量不能是零向量)。所以一个变换的特征向量是这样一种向量。它经过这种特定的变换后保持方向不变。只是进行长度上的伸缩而已(再想想特征向量的原始定义Ax= cx。你就恍然大悟了。看到了吗?cx是方阵A对向量x进行变换后的结果。但显然cx和x的方向相同)。而且x是特征向量的话。ax也是特征向量(a是标量且不为零)。所以所谓的特征向量不是一个向量而是一个向量族。 另外。特征值只不过反映了特征向量在变换时的伸缩倍数而已。对一个变换而言。特征向量指明的方向才是很重要的。特征值不是那么重要。虽然我们求这两个量时 先求出特征值。但特征向量才是更本质的东西!
比如平面上的一个变换。把一个向量关于横轴做镜像对称变换。即保持一个向量的横坐标不变。但纵坐标取相反数。把这个变换表示为矩阵就是[1 0;0 -1]。其中分号表示换行。显然[1 0;0 -1]*[a b]'=[a –b]'。其中上标 ' 表示取转置。这正是我们想要的效果。那么现在可以猜一下了。这个矩阵的特征向量是什么?想想什么向量在这个变换下保持方向不变。显然,横轴上的向量在这个变换下保持方向不变(记住这个变换是镜像对称变换。那镜子表面上(横轴上)的向量当然不会变化)。所以可以直接猜测其特征向量是 [a 0]'(a不为0)。还有其他的吗?有。那就是纵轴上的向量。这时经过变换后。其方向反向。但仍在同一条轴上。所以也被认为是方向没有变化。
当我们引用了Spectral theorem（谱定律）的时候，情况就不一样了。Spectral theorem的核心内容如下：一个线性变换A（用矩阵乘法表示）可表示为它的所有的特征向量的一个线性组合，其中的线性系数就是每一个向量对应的特征值，写成公式就是：
T(x)=(V1。x)λ1V1+(V2。x)λ2V2+(V3。x)λ3V3+。。。
其中，V1 V2 V3等表示特征向量，λ1 λ2 λ3等表示特征值，V表示输入向量，T(x)即变换后的向量。
从这里我们可以看出，一个变换（矩阵）可由它的所有特征向量完全表示(即T(x)=Ax)。而每一个向量所对应的特征值，就代表了矩阵在这一向量上的贡献率——说的通俗一点就是能量（power），这种贡献是一种整体上的贡献率，对于单个向量来说还要考虑特征向量V与输入向量x的点积，即dot(V,x)部分。也就是说，即使λ1相比其它特征值来说很大，使得V1的贡献率很高，但是（V1。x）=0，T(x)在V1上也没有任何表现。
我们知道，一个变换可由一个矩阵乘法表示，那么一个空间坐标系也可视作一个矩阵，而这个坐标系就可由这个矩阵的所有特征向量表示，用图来表示的话，可以想象就是一个空间张开的各个坐标角度，这一组向量可以完全表示一个矩阵表示的空间的“特征”，而他们的特征值就表示了各个角度上的能量（可以想象成从各个角度上伸出的长短，越长的轴就越可以代表这个空间，它的“特征”就越强，或者说显性，而短轴自然就成了隐性特征），因此，通过特征向量/值可以完全描述某一几何空间这一特点，使得特征向量与特征值在几何（特别是空间几何）及其应用中得以发挥。
---
案例学习：二维空间直角坐标系下，有一向量x=[1 1]'，求通过变换矩阵A=[1 2;3 4]后的向量。
步骤1：题目中之所以强调直角坐标系，是因为想让大家清楚，日常生活中所默认的这种坐标系的变换矩阵为A0=[1 0; 0 1]，其对应的2组特征值和特征向量为：横坐标即λ1=1，V1=[1 0]'; 纵坐标即λ2=1，V2=[0 1]'。V1和V2也可以称为二维空间的一组基。
你可以发现T(x)=A0x=[1 0; 0 1] *[1 1]'=[1 1]'。根据谱定理也有：T(x)=(V1。x)λ1V1+(V2。x)λ2V2=dot(V1,x)* λ1*V1+dot(V2,x)* λ2*V2=[1 1]'。
步骤2：下面看一下题目中的变换矩阵A=[1 2;3 4]，其对应的特征值和特征向量为：λ1=-0。3723，V1=[-0。8246 0。5658]'; λ2=5。3723，V2=[-0。4160 -0。9094]'。如果不假思索直接得到T(x)=Ax=[3 7]'，当然结果正确，但本案例旨在说明这个结果的意义和背后的故事。首先需要明白结果[3 3]'仍然是在直角坐标系下，即基为[1 0]'和[0 1]'。根据谱定理也有：T(x)=(V1。x)λ1V1+(V2。x)λ2V2=dot(V1,x)* λ1*V1+dot(V2,x)* λ2*V2=[2。8824 6。5294]'≈[3 7]'。将x变换前后的在直角坐标系中的向量图表示如下，图中得出：A对x的作用是旋转和缩放。
步骤3： 更换直角坐标系的基，由原来的[1 0]'和[0 1]'变为由A的特征向量[-0。8246 0。5658]'和[-0。4160 -0。9094]'组成的一对正交基。将x映射到此正交基构成的坐标系中，得到[-0。2588 -1。3254]'（变换前的x）和 [1。4867 -7。6136]（变换后的x）。下图给出了坐标系变换前后的对比图，图中可得：更换正交基是对整个坐标系进行旋转和缩放。