高维度下的数据科学——线性空间（下）

矩阵实质上是一种坐标变换

对于单位矩阵坐标基，上的向量x（x1, x2,...xn）
对于基(a1, a2...an), 两个基的互相表示为 (a1, a2...an) = I * (a1, a2...an)
将向量x的坐标转移到（a1,a2...an）上，（a1,a2...an）y = I x ====> y=[（a1,a2...an） ]^(-1)*x
假如：A=[（a1,a2...an） ]^(-1)
那么Ax实质上，不就是坐标变换么，或者说，对于任意的可逆矩阵A，Ax的结果事实上就是令A逆作为坐标系的一个坐标变换而已。

矩阵乘法实质上就是一种线性变换（同时，相对地矩阵也是坐标变换）

1. 对于线性空间中的一组基而言，如果对基进行了线性变换，其结果仍然是可以由基线性表示出来的。基向量组乘以某个矩阵即为进行线性变换后的基向量组。
2. 线性空间中任意向量都可以表示成某个基向量组的线性组合，对该向量的线性变换即为对该基向量组的线性组合的线性变换。进而可以表示成对该基向量组中每个向量进行线性变换后乘以待线性变换的那个向量
3. 进一步的，便可以应用1中，将基向量的线性变换表述成基向量组乘以一个矩阵的形式。从而讲对向量x的线性变换转换成基向量乘以矩阵A再乘以向量x的形式。
4. 因此，在给定基下的坐标变换公式即为y=A*x

线性变换在基上的表示

证明：对于n维线性空间V上的线性变换，T: V->V， 将基（a1,a2,...an）映射为（T(a1),T(a2)...T(an)），由于T(ai)仍然是a1,a2...an的线性组合，那么（T(a1),T(a2)...T(an)）可以由（a1,a2...an）表示出来：

T(a1,a2...an) = (（T(a1),T(a2)...T(an)）)=(a1,a2...an)
b21 b22... b2n
*[b11 b12 ...b1n]
...
bn1 bn2... bnn
= (a1,a2...an)B

向量线性变换的矩阵表示

对于任意的在基(a1,a2...an)下的向量y=x1a1+x2a2+....xnan, 线性变换T
则T(y)= T((a1,a2...an)x)=T(a1,a2...an)x=(a1,a2...an)Bx
那么在给定基(a1,a2...an)下的原像与像的坐标变换公式为 ： y= Bx
由此可知：1.矩阵其实就代表着一种线性变换；2.如果把(a1,a2...an)B看做是一个新的基的话，那么事实上线性变换其实也可以看做是坐标系的变换。这就是运动是相对的这个概念。
几个特殊的变换：
旋转变换：
[v1 = [cosA sinA * [x1
v2] -sinA cosA] x2] 线性空间R^2中的向量均绕原点顺时针旋转角A

单位变换：
Iy
零变换
0y

不同基下的线性变换的矩阵表现形式

同一个线性变换，在不同的基下，线性变换的矩阵表现形式是不同的。那么这些矩阵由什么样的共同点么？这里就引出来特征值了。

1. 对于V > V上的线性变换T在基(a1,a2...an)与基(b1,b2...bn)下的矩阵表现形式分别为：(a1,a2...an)A, (b1,b2...bn)B
2. 基(a1,a2...an)到 (b1,b2...bn)的过渡矩阵为P， 即(b1,b2...bn)=(a1,a2...an)P。(这个东西与(a1,a2...an)A 是如此的类似，于是我们就理解了，所谓线性变换其实完全可以理解为是坐标系，基的变换)
3. (b1,b2...bn)B=T(b1,b2...bn )=T(a1,a2...an)P=(a1,a2...an)AP=(b1,b2...bn)P^(-1)AP
   4.得出：B=P^(-1)AP

同一个线性变化在不同基下的矩阵是相似的，上面的公式便是相似的定义。
那么现在问题来了，一个线性空间具有无数个基，这意味着表示同一个线性变换的矩阵也有无数个，假设由这些矩阵所构成的矩阵空间为G, 那么可否找出这无数个矩阵的共同点呢？
再考虑到公式B=P^(-1)AP，对于所有的这些矩阵而言，毫无疑问都是和A相似的，那么可否用A作为这些矩阵的共同点，也就是说用矩阵A作为矩阵空间G的一个参考系呢？
这样的话，尽量简化A便是一个好的选择，而使一个矩阵尽量简化的话（该矩阵必须为非奇异），那么让该矩阵为一个对角矩阵了，那么，又能否得出一个对角矩阵，能够用它来作为矩阵空间G的一个参照点呢？
那么，我们现在假设这个对角矩阵A'是存在的：
A’=[lamda1
lamada2
...
lamda_n]
那么有BP^(-1)=P(-1)A',为便于表示，我们将P^(-1)写作P,那么为：BP=PA', 令P=（p1,p2...pn）
于是有了特征值与特征向量的定义：Bp_i=lamda_ip_i
由这个公式，我们可以求出特征值和特征向量，如果求得的特征值的个数为n个的话（包括重根），那么对角举证A'存在也就是可以的了。也就是说矩阵可以对角化了。
也即意味着矩阵空间G能够使用一个对角矩阵作为其特征，或者说作为其参照。
这个对角矩阵也就是矩阵空间G中所有矩阵所代表的不变的线性变换的一个参照。我们让该参照的基为单位向量基。那么矩阵空间G中的其它矩阵的特征向量矩阵便是各自线性变换所基于的基的逆。
综上，上面就是特征值与特征向量，矩阵对角化的由来。

对称矩阵的特征向量

上面所主要考量的是特征值，特征值代表的是某个矩阵所代表的线性变换，而特征向量就意味着该矩阵所代表的基了。
上面所考虑的情况都是在方阵下的，但经常我们会碰到mn的矩阵X，这个时候我们会使用t(X)X,那么这个矩阵便是n*n型的了。对于这个矩阵而言，他有个特点，即这个矩阵是对称矩阵。

在不同的基下，相同的线性变换的矩阵表现形式是不同的。这些不同的矩阵是相似矩阵，具有相同的特征值，不同点在于特征向量不同，而该特征向量实质上就是矩阵所代表的线性变换所基于的基向量。