优雅的线性代数系列三

投影分析

我们先来看看二维空间中向量的投影, 如下图



向量 (vec b) 在向量 (vec a) 上的投影为向量 (vec p), (vec e ot vec a)

[ecause e ot a ,quad p = ax \ a cdot e = 0 Rightarrow a^T(b - p) = 0\ Rightarrow a^T(b-ax) = 0 \ Rightarrow a^Tax = a^Tb\ Rightarrow egin{cases}x = frac{a^Tb}{a^Ta} quad 参数\ p = ax = frac{aa^T}{a^Ta}b, quad 投影\ P = frac{aa^T}{a^Ta} quad 投影矩阵 end{cases} ]

从 (p = Pb) 看出, 给了矩阵 A (这里是向量 a) 的投影矩阵 (P), 就能求出一个向量 (b) 在 A上的投影向量 (p).

(lacksquare) 乘积

[Af x, quad A 为矩阵, x 为列向量 ]

的结果总是在矩阵 A 的列空间中.

投影矩阵 (P) 将向量 (vec b) 投影到通过向量 (vec a) 的一条直线上, 即以向量 (vec a) 为基的列空间.

如果做两次投影, 其结果和做一次投影一样, 这应该是很容易想到的, 第一次投影将结果投影到 a 的列空间上了, 第二次投影结果时, 结果不会变.

为什么要做投影呢 ?

我们先来看看下面这个问题.

对于 (m imes n (m > n)space 矩阵A), 方程

[Af x=b ]

或许没有解(即 b 不在 A 的列空间中).

(color {red} {那么如何 "求解" 一个没有解的方程的解?})

这时只能求解与不可解问题最接近的可解问题! (Af x=b) 无解, 即 b 不在 A 的列空间中, 那我们怎么微调 b 使得方程有解呢? 利用投影, 我们问题转化为

[Af x=b \ Downarrow \ A hat{ f x} = p ]

(p) 是 b 在 A 的列空间的投影.

若 b 在 A 的列空间中, 则投影 p = b
若 b 中包含 误差向量 e, e = b - p, 则投影 p = b - e

我们知道投影 p 在矩阵 A 的列空间中, 那么可以便是为列空间的基的组合.
比如在二维空间 (R^2) 中,

[A = (a_1, a_2), quad p = a_1x_1 + a_2x_2 = A f {hat x} ]

问题转化为 寻找合适的列组合使得误差向量 (e) 垂直于列空间.

(lacksquare) 线面垂直判定定理：如果一条直线与平面内两条相交直线都垂直，那么这条直线与这个平面垂直。对应于向量空间的话, 一向量 b 垂直于一向量空间, 判定定理为 b 与该向量空间的一组基都垂直即可.

(p = A f {hat x}), 寻找 (hat {f x}) 使得 (e = b - A f {hat x}) 垂直 A 的列空间, 即 (e ot a_1, e ot a_2)

[left . { a_1^T(b-A hat{f x}) = 0 \ a_2^T(b-A f {hat x}) = 0} ight } => A^T (b-A f {hat x})= A^Te = 0 ]

(A^Te = 0) 可以看出 e 在 A 的左零空间中

(A^T e = A^T (b-A f {hat x}) = 0) 可得这样一个形式(A^TA hat x = A^Tb)(这是个很重要的形式), 进而得到

[egin{cases} hat x = (A^TA)^{-1}A^Tb, quad 参数\ p = A hat x = A(A^TA)^{-1}A^Tb, quad 投影 \ P = A(A^TA)^{-1}A^T, quad 投影矩阵 end{cases} ]

如果 A 是可逆方阵的话, (P = A(A^TA)^{-1}A^T = AA^{-1}{A^{T}}^{-1}A^T = I), A 是可逆方阵, 那么 b 肯定在 A 的列空间中, 所以投影矩阵为单位矩阵(即恒等矩阵), b 的投影就是自身.

我们可以看到投影矩阵具有如下性质

[P^T = P \ P^2 = P ]

下面我们来看一个重要的矩阵

[A^TA ]

该矩阵具有如下性质

1. 对称方阵
2. rank((A^TA)) = rank(A)
3. (A^TA) 的零空间和 A 的零空间相同.
4. (A^TA) 当且仅当 A 的各列线性无关.

我们把 (Af x=b) 转化为 $$A^TAf x=A^Tb$$, 我们希望新方程有解.

最小二乘法

最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。 如果有离群值(异常值), 则一般形式的最小二乘法的性能并不太好, 所以一下的讨论先不考虑离群值.

(P = A(A^TA)^{-1}A^T,) 投影矩阵 P 会将向量 b 投影到 A 的列空间中距离 b 最近的一点, 坐标原点到该点的向量即投影向量.

[p = Pb = b - e\ e = b - pb = (I - P)b ]

从上面看出, 通过矩阵 (I-P), 可以得到 b 在左零空间的投影向量, (I-P) 称为正交投影矩阵.

[min _{b}|Ab-y |_{2}^2 ]

设偏导为 0, 得 $A^TAhat b = A^Ty $

来看一个线性回归曲线拟合简单例子, 已知 3 个点 ((1, 1), (1, 2), (1, 3)), 求其拟合曲线 (y=b_{0}+b_{1}x)).



解: 将点代入曲线方程 (y=b_{0}+b_{1}t))

[egin{cases} b_0 + b_1 = 1 \ b_0 + 2b_1 = 2 \ b_0 + 3b_1 = 2 \ end{cases} \ A b = egin{bmatrix} 1 & 1 \ 1 & 2 \ 1 & 3 end{bmatrix} { b} = egin{bmatrix} 1 \ 2 \ 3 end{bmatrix} = y \ ecause quad A^TA {hat b} = A^Ty\ A^TA = egin{bmatrix} 3 & 6 \ 6 & 16 end{bmatrix}, A^Ty=egin{bmatrix} 5\ 11 end{bmatrix} \ A^TA {hat b} = egin{bmatrix} 3 & 6 \ 6 & 16 end{bmatrix}egin{bmatrix} b_0\ b_1 end{bmatrix} = egin{bmatrix} 5\ 11 end{bmatrix} \ b_0 = frac23, b_1 =frac12 ightarrow y = frac23 + frac12 x ]

特征值与特征向量

矩阵 (Ain mathbb R^{m imes n}), 我们知道，矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。

特征基: 如果基向量是特征向量怎么样? => 对角矩阵

向量 (x) 不一定在矩阵 A 的列空间中, 但 (Ax) 总是在矩阵 A 的列空间中. 我们可以将矩阵 A 看成是一个线性变换函数, 将一个输入向量 (x) 映射成矩阵 A 的列空间中的向量 (Ax).

特别的, 在线性变换 (Ax) 中, 我们对变换前后方向一致的向量感兴趣? 满足这种条件的向量就是特征向量, 变换后向量长度和变化前的比值, 即变化尺度就是特征值. 显然, 特征向量必定在矩阵 A 的列空间中.

(square) 设矩阵 A 为 n 阶实方阵， 如果存在某个数及某个 n 维 非零列向量，使得

[egin{align*} ormalsize{overbrace{A}^{变换矩阵} vec {color{blue}v} = overbrace { color{pink}lambda }^{color {pink}{特征值}} vec{color{blue} v}} \ ormalsize{quadquadquadquad warrow quadquadquad earrow} \ quadquadquadquadquadquad{color {blue} { ormalsize 特征向量}} end{align*} ]

则称 (lambda) 是方阵 A 的一个特征值，(x) 是方阵 A 的属于特征值 (lambda) 的一个特征向量。

投影矩阵

假设矩阵 P 的是矩阵 A 投影矩阵. 那么对于投影矩阵而言, 特征值 (lambda) 和特征向量 (x) 是什么 ?

我们知道, 对于投影矩阵 (P) 而言, 任意矩阵 A 列空间的向量 (x), 有 (Px = x); 任意 A 的左零空间的向量, 有(px = 0). 故

[egin{cases} px = x Rightarrow lambda = 1, x = forall x in C(A) \ px = 0 Rightarrow lambda = 0, x = forall x in N(A^T) \ end{cases} ]

特征值性质

假设矩阵 A 的特征值为 (lambda_1, lambda_2,cdots,lambda_n)

1. (n imes n) 方阵有 n 个特征值;
2. tr(A) = (sum_{i=1}^n lambda _i)
3. det(A) = (prod_{i =1}^n lambda _i)
4. 矩阵 (A + 3I) 的特征值为 (lambda_i + 3, space i =1,2, cdots,n)

[(A + 3I)x = Ax + 3x = lambda x + 3x = (lambda +3)x ]

特征值和特征向量求解

值得一提的是, 特征向量 (x) 定义为非零向量. 对于方程 (Ax= 0) 而言, (x) 为非零值, 则 矩阵 A 的列线性相关, 当 A 为方阵, 等价于行列式 det(A) = 0.

[egin{align*} ormalsize{ A {color{red}x} = lambda {color{red} x} } \ ormalsize{ A {color{red}x} - lambda I {color{red}x} } = { 0} \ ormalsizeleft({A} - lambda I ight){color{red}x} = { 0} \ ormalsize{|{A} - lambda I |} = {0} \ end{align*} ]

来看一个例子, 对称矩阵矩阵 A

[egin{align*} A &= egin{bmatrix} 3&1\1&3 end{bmatrix} \ |A-lambda I| &= egin{bmatrix} 3 - lambda &1\1&3-lambda end{bmatrix} \ &=(3-lambda)^2 -1 \ & = (lambda -2)(lambda -4)\ Rightarrow lambda _1 &= 2, lambda _2 =4 \ Rightarrow x_1 &= egin {bmatrix} 1\1end{bmatrix}, x_2 = egin {bmatrix} 1 \-1end{bmatrix} end{align*} ]

求出特征值之后, 将特征值代入矩阵 (A-lambda I), 求 ((A-lambda _i I)x = 0) 的解就是特征值 (lambda _i) 对应的特征向量 (x_i).

矩阵的对角化

假设矩阵 A 有 n 个线性无关的特征向量 (x_1, x_2, cdots, x_n) (对应特征值为 (lambda_1, lambda_2,cdots,lambda_n)), 将它们按顺序组合成矩阵 (S),

[S = [x_1, x_2, cdots, x_n] ]

那么有

[egin{eqnarray*} AS &=& A[x_1, x_2, cdots, x_n] \ &=& [lambda_1 x_1, lambda_2 x_2, cdots,lambda_n x_n] \ &=& [x_1, x_2, cdots, x_n] egin{bmatrix} lambda _1 &0&cdots &0\0&lambda _2&cdots &0\vdots &vdots &ddots&0\0&0&cdots&lambda_nend{bmatrix} \ &=& S Lambda\ &Rightarrow& egin{cases} A = S Lambda S^{-1} \ Lambda = S^{-1} Lambda Send{cases} end{eqnarray*} ]

如何凑出 (S Lambda) ? 矩阵乘以列向量是矩阵列的线性组合, 结果为列向量

来通过不同的方式看特征值的一个性质

[egin{eqnarray*} ①quad A^2x &=& A(Ax)=A(lambda x) = lambda (Ax) = lambda ^2x \ ②quad space space A^2 &=& S Lambda S^{-1}S Lambda S^{-1} = S Lambda ^2 S^{-1} end{eqnarray*} ]

(lacksquare) 若 $forall |lambda_i| < 1, 当 space k ightarrow +infty,quad A^2 ightarrow0, $ 则该矩阵变换是稳定的.

 

(lacksquare)定理: 如果矩阵 A 所有的特征值 (lambda_i) 都不同, 则必有 A 必有 n 个线性无关的特征向量, 且可对角化.

非对称矩阵

逆时针旋转 (90^circ) 的旋转矩阵

[egin{eqnarray*} Q &= egin{bmatrix} 0 & -1 \ 1& 0 end{bmatrix} \ |Q- lambda I| &= lambda ^2 + 1 = 0 \ lambda _1 &= i, space lambda _2 = -i end{eqnarray*} ]

其特征值为复数.

实矩阵可能有复数特征值(成对出现, 共轭), 这样不好处理, 所以我们希望能看看特征值是实数的矩阵有什么特征, 一般说矩阵越接近对称, 越有可能有实数的特征值.上面的矩阵 Q, (Q^T = Q), 说明这是个反对称矩阵, 是个不对称极端的例子.

如果矩阵 A 有重复的特征值, 则不一定有 n 个线性无关的特征向量, 这样的矩阵没法进行对角化处理.下面再来看一个性质不佳的矩阵:

三角矩阵的特征值就是对角线上的元素, 这从 $|A- lambda I| $ 一眼就看出来.

[A = egin{bmatrix} 3 & 1 \ 0 & 3 end{bmatrix} \ Rightarrow lambda_1 = lambda_2 =3 ]

这个三角矩阵有重复的特征值, 而 (A - 3I = egin{bmatrix} 0 & 1 \ 0 & 0 end{bmatrix}), A 的列秩为 1, 故零空间维度为 (2 - 1 = 1), 所以第二个特征值 3 没有与第一个特征值 3 线性无关的特征向量.

对称矩阵

(square) 满足如下的矩阵称为对称矩阵.

[A^T=A ]

对称矩阵性质:

1. 实对称矩阵的特征值是实数

[已知 space Ax=lambda x, A^T=A \ egin{align} overline { A x} = overline A overline x =Aoverline x = overline {lambda x}=overline lambda overline x &Rightarrow Aoverline x =overline lambda overline x \ (Aoverline x)^T = overline x^TA^T = overline x^TA = (overline lambda overline x)^T = overline lambda overline x^T &Rightarrow overline x^TA =overline lambda overline x^T\ overline x^T cdot 公式(1) &Rightarrow overline x^TAoverline x = overline x^T(lambda overline x) = lambda overline x^T overline x\ 公式(2) cdot overline x &Rightarrow overline x^TAoverline x = (overline lambda overline x^T) overline x =overline lambda overline x^T overline x \ &Rightarrow overline lambda = lambdaend{align} ]

故 (lambda) 是实数.

2. 实对称矩阵不同特征值的特征向量相互正交

3. 实对称矩阵一定能对角化, 这点很重要.

(color {red} {奇妙的对称矩阵 A^TA})

[R^T = R \ (AB)^{T} = B^{T}A^{T}\ ]

(R^TR) 总是对称矩阵, 因为 ((R^TR)^T = R^TR)

且(R^TR) (半)正定矩阵

有 (m imes n) 矩阵 A, 则 (n imes n) (A^TA)

[x^T(A^TA)x = (Ax)^TAx = |Ax|^2 ge 0, space forall x ot= 0 ]

该如何保证 (forall x ot= 0, quad Ax ot= 0?)

即矩阵 A 的列向量线性无关即可, 即列满秩 rank(A) = n

对称矩阵对角化

实对称矩阵不同特征值的特征向量相互正交, 且一定能对角化. 所以存在正交矩阵 Q, 使得以下对角化存在

$A = Q Lambda Q^{T} quad Q为正交矩阵, Q^{-1} = Q^T $

上式称为 谱定理.

[A = Q Lambda Q^{T} = [q_1 space q_2 space cdots space q_n]egin{bmatrix}lambda_1&&\&lambda_2&\& &ddots\ &&&lambda_nend{bmatrix} egin{bmatrix}q_1^T\q_2^T\vdots\ q_n^Tend{bmatrix} \ = lambda_1q_1q_1^T + lambda_2q_2q_2^T + cdots + lambda_nq_nq_n^T\ ]

投影矩阵 (P = frac{q_iq_i^T}{q_i^Tq_i} = q_iq_i^T, quad 其中space q_i^Tq_i=1)
故 每一个对称矩阵都是一些相互垂直的投影矩阵的线性组合.

递推公式

(square) 已知矩阵 (A = [a_1, a_2,cdots, a_n]), 特征向量为 (x_1, x_2,cdots, x_n), 给予向量

[u_0 = c_1x_1+c_2x_2+ cdots+c_nx_n ]

且有递推公式 (u_{k+1} = A u_k), 求 (u_n).

(igstar) 遇到矩阵幂的问题, 我们总是先想到求助于对角化.

解:

[egin{eqnarray*} 令 quad S &=& [x_1, x_2,cdots, x_n], quad C = [c_1, c_2,cdots, c_n], 已知 AS = S Lambda \ 则quad u_0 &=& c_1x_1+c_2x_2+ cdots+c_nx_n = SC^T\ u_1 &=& Au_0 =c_1Ax_1+c_2Ax_2+ cdots+c_nAx_n \ &=& c_1lambda_1x_1+c_2lambda_2x_2+ cdots+c_nlambda_nx_n \ &=& ASC^T = S Lambda C^T\ u_2 &=& A^2u_0 = c_1lambda_1^2x_1+c_2lambda_2^2x_2+ cdots+c_nlambda_n^2x_n =S Lambda^2 C^T\ vdots \ u_n &=& A^nu_0 = c_1A^nx_1+c_2A^nx_2+ cdots+c_nA^nx_n\ &=& c_1lambda_1^nx_1+c_2lambda_2^nx_2+ cdots+c_nlambda_n^nx_n \ &=&S Lambda^n C^T end{eqnarray*} ]

下面来看一个上面推导式应用的一个经典例子, (Fabnacci) 数列

[0,1,1,2,3,5,8,13,21,cdots ]

推到公式为

[Fn= egin{cases} 0 , quad quadquad quad quad quad n =0 \ 1, quad quad quad quad quad quad n =1 \ F_{n-1} + F_{n-2} , quad forall n ge2 end{cases} ]

假设我们需要求 (F_{100}) , 该怎么做 ?

为了使用上面的递推公式, 这里用到一个小技巧, 令 (u_{k} = {egin{bmatrix}F_{k+1} \ F_{k} end{bmatrix}}, 则 u_0 = egin{bmatrix} 1 \ 0 end{bmatrix}), 我们可以通过 (u_{100}, 求出 F_{100})

[egin{eqnarray*} u_{k+1} &=& {egin{bmatrix}F_{k+2} \ F_{k+1} end{bmatrix}} = {egin{bmatrix}F_{k+1} + F_{k} \ F_{k+1} end{bmatrix}} \ &=& {egin{bmatrix} 1&1 \ 1&0 end{bmatrix}}{egin{bmatrix}F_{k+1} \ F_{k} end{bmatrix}} = Au_k end{eqnarray*} ]

这里矩阵 A = (egin{bmatrix} 1&1 \ 1&0 end{bmatrix})

第一步 我们需要求出矩阵 A 的特征值和特征向量.

[|A-lambda I| = lambda ^2 - lambda -1 = 0 \ lambda_1 = frac{1+sqrt{5}}{2} > 1, space lambda_2 = frac{1-sqrt{5}}{2} < 1 \ x_1 = egin{bmatrix} lambda _1 \ 1 end{bmatrix}, x_2 =egin{bmatrix} lambda _2 \ 1 end{bmatrix} ]

第二步, 已知 (u_0 = egin{bmatrix} 1 \ 0 end{bmatrix}), 我们需要求出 (u_0) 使用特征向量 (x_1, x_2) 表示的系数.

[egin{align*} u_0 &= c_1x_1 + c_2x_2 \ &= c_1egin{bmatrix} lambda _1 \ 1 end{bmatrix} + egin{bmatrix} lambda _2\ 1 end{bmatrix} \ &= egin{bmatrix} c_1lambda_1 + c_2lambda_2 \ c_1+c_2 end{bmatrix} = egin{bmatrix} 1 \ 0 end{bmatrix} \ Rightarrow c_1 &= -c2 = frac{1}{sqrt5} end{align*} ]

已知 递推公式中

[egin{align*} u_n &= c_1lambda_1^nx_1+c_2lambda_2^nx_2+ cdots+c_nlambda_n^nx_n end{align*} ]

我们这里有

[egin{align*} u_n = c_1lambda_1^nx_1+c_2lambda_2^nx_2 = frac{1}{sqrt5} lambda_1^{n}egin{bmatrix} lambda _1 \ 1 end{bmatrix} - frac{1}{sqrt5} lambda_2^{n}egin{bmatrix} lambda _2 \ 1 end{bmatrix} \ end{align*} ]

[u_{k} = {egin{bmatrix}F_{k+1} \ F_{k} end{bmatrix}}, \ lambda 1 > 1, lambda 2 < 1, {lambda _2}^{100} ightarrow 0 \ F_{100} = frac{1}{sqrt5} lambda_1^{100} = 3.5422485e+20 ]

奇异值分解

矩阵奇异值分解(Singularly Valuable Decomposition)简称 svd, 可以说是矩阵最好的一种分解方式. 很多工程应用中都有它的身影，比如数据降维, 推荐系统, 数据压缩等。 从线性变换的的角度来分析下 svd 的由来, 为了便于描述这里只讨论在实矩阵的情况.

行空间和列空间的正交基不同, 由于m x n 矩阵的维度不同.

[A = ULambda V^T, space Lambda 为对角矩阵, U,V 分别为正交矩阵 ]

对于实对称矩阵, 有

[A = Q Lambda Q^T ]

[A[v_1,v_2,cdots,v_r,v_{r+1},cdots,v_n] = [u_1,u_2,cdots,u_r,u_{r+1},cdots,u_m]egin{bmatrix}sigma_1\&sigma_2\&&ddots\&&&sigma_r\&&&&0\&&&&&ddots \&&&&&&0end{bmatrix} \ AV = U Lambda Rightarrow A = ULambda V^{-1} = ULambda V^T \ A^TA = ( ULambda V^T)^T ULambda V^T = VLambda ^2V^T \ AA^T = ULambda V^T( ULambda V^T)^T = ULambda ^2U^T \ ]

下面以二维空间为例, 通过求解一个列向量线性无关和列线性相关的矩阵的奇异值分解, 来看理解奇异值分解.

列满秩矩阵 A

[u_1, u_2 是列空间的标准正交基\ v_1, v_2 是行空间的标准正交基 \ egin{align} egin{cases} Av_1 = sigma_1u_1 \ Av_2 = sigma_2u_2 ag{3.1}\ end{cases}\ end{align} \ A = egin{bmatrix} 4 & 4 \ -3 & 3 end{bmatrix}, space A^T = egin{bmatrix} 4 & -3 \ 4 & 3 end{bmatrix} \ A^TA = egin{bmatrix} 25 & 7 \ 7 & 25 end{bmatrix},space lambda_1=32, v_1 = pmfrac{1}{sqrt{2}}egin{bmatrix} 1 \ 1 end{bmatrix};lambda_1=18, v_2 = pmfrac{1}{sqrt{2}} egin{bmatrix} 1 \ -1 end{bmatrix}\ AA^T=egin{bmatrix} 32 & 0 \ 0 & 18 end{bmatrix}, lambda_1=32, u_1 = pm egin{bmatrix} 1 \ 0 end{bmatrix};lambda_2=18, u_2 = pm egin{bmatrix} 0 \ 1 end{bmatrix}; \ 取 sigma_1 = sqrt{32}, sigma_2 = sqrt{18}, U = [u_1,u_2 ]= egin{bmatrix} 1 & 0 \ 0 & 1 end{bmatrix}, 由式(3.1) V = frac{1}{sqrt{2}}egin{bmatrix} 1 & -1 \ 1 & 1 end{bmatrix}\ A = egin{bmatrix} 4 & 4 \ -3 & 3 end{bmatrix} = egin{bmatrix} 1 & 0 \ 0 & 1 end{bmatrix}egin{bmatrix} sqrt{32} & 0 \ 0 & sqrt{18}end{bmatrix}frac{1}{sqrt{2}}egin{bmatrix} 1 & -1 \ 1 & 1 end{bmatrix}^T ]

非列满秩矩阵 A

[A = egin{bmatrix} 4 & 3 \ 8 & 6 end{bmatrix} \ v_1 = egin{bmatrix} 0.8 \ 0.6 end{bmatrix} 行空间标准正交基 \ v_2 = egin{bmatrix} 0.6 \ -0.8 end{bmatrix} 零空间标准正交基 \ u_1 = egin{bmatrix} frac{1}{sqrt{5}} \ frac{2}{sqrt{5}} end{bmatrix} 列空间标准正交基\ u_2 = egin{bmatrix} frac{2}{sqrt{5}} \ - frac{1}{sqrt{5}}end{bmatrix} 左零空间标准正交基 \ AA^T = egin{bmatrix} 25 & 50 \ 50 & 100 end{bmatrix}, lambda_1 = 125, lambda_2 = 0, \ A = egin{bmatrix} 4 & 3 \ 8 & 6 end{bmatrix}=frac{1}{sqrt{5}}egin{bmatrix} 1 & 2 \ 2 & -1 end{bmatrix} egin{bmatrix} sqrt{125} & 0 \ 0 & 0 end{bmatrix}egin{bmatrix} 0.8 & 0.6 \ 0.6 & -0.8 end{bmatrix}^T ]