特征值 与 特征向量
- 只有正方形矩阵才有特征值与特征向量！
- 某个矩阵的特征值与特征向量！（脱离矩阵的特征值与特征向量无意义）
Ax=b，这个过程可以看做一个输入为向量x，输出为向量b的函数。对于一些特殊的输入x，有b=λx（λ可正，可负，可为0，可为复数），这些特殊的x就是A的特征向量，对应的λ就是A的特征值。
如何解 特征值 与 特征向量 ？
解（A-λI）x=0，x不能为0，说明矩阵A-λI奇异（也就是不可逆，行列式=0），解det(A-λI)=0得到所有特征值。当A是nxn时，方程是n阶的，能够得到n个λ（有可能重复）。
将得到的λ分别带入（A-λI）x=0，得到这个特征值λ对应的特征向量。由此可知，特征向量组成的空间是（A-λI）的nullspace
特征值λ 的性质
- 特征值可正，可负，可为0，可为复数，还能够重复（意思是某个矩阵的两个特征值可以是同一个数，虽然这样我们还是视其为两个特征值）
- nxn 的矩阵必有n个特征值
- 特征值的和 = 矩阵的迹（矩阵的迹是对角线元素之和）
- 特征值的积 = 矩阵的行列式
- 如果我们知道A的特征值是{λ1，λ2，……}，那么我们也能得出A^n的特征值是{λ1^n，λ2^n，……}，因为AAx=A(λx)=λ(Ax)=λ^2*x
- 对于Markov矩阵（每一列的和都是1，且每个元素都为正），最大的特征值=1，对应的特征向量处于steady state（就是无论左乘多少的A，特征向量保持不变），其余特征向量处于decaying mode（就是由于特征值绝对值小于1，随着左乘A越来越多，特征向量逐渐趋于0）
- 投影矩阵的特征值只有1和0，这点可以从几何角度得到
- 对称矩阵的特征值必为实数，非对称矩阵会带来复数项？
- 上（下）三角矩阵的特征值={对角线上的元素}：因为|A-λI|=(对角线元素-λ)的乘积
- 将A加上n*I之后，所有特征值也将加上n：(A+nI)x=Ax+nx=(λ+n)x
- 假如A是奇异的（i.e.不可逆的，行列式=0的），那么0是A的特征值之一；假如A可逆，那么0不是A的特征值之一（因为Ax=0无非零解）
特征向量的性质
- 特征向量不能是0向量，且特征向量之间相互独立
- 对于nxn的矩阵，假如特征值不同，特征向量必独立；假如两个特征值相同，那么它们对应的特征向量有可能相同（由于特征向量需要独立，此时需要删除其中一个特征向量），也有可能仍然独立（eg：I的特征值只有1，但是特征向量都在）
对角化
假如nxn方阵A，有n个相互独立的特征向量，将其按列排成矩阵S，那么可推出：AS=SΛ（Λ，音lambda，是λ的大写，表示特征值组成的矩阵）
这个公式在A有n个独立特征向量的前提下，将A分解为特征值与特征向量组成的矩阵：
- 对于推理A^2之类的特征值非常直观：A^2=SΛS-1SΛS-1=SΛ2S-1，将2替换为k亦可
- 假如当k逐渐增大，A^k趋于0，我们可以知道A的所有特征值绝对值都小于1，因为S保持不变，只能由Λ来变小