奇异值定义：设矩阵(A_{m imes n})的秩为(r)，矩阵(A^TA)的特征值为(lambda_1 geq lambda_2 geq dots geq lambda_r > lambda_{r + 1} = dots = lambda_n = 0)，则称(sigma_i = sqrt lambda_i (i = 1, 2, dots , n))为矩阵(A)的奇异值。
奇异值分解定理：设矩阵(A_{m imes n})的秩为(r)，则存在(m)阶正交矩阵(U)和(n)阶正交矩阵(V)，使得：
[U^T AV =
egin{pmatrix}
Sigma & 0 \
0 & 0
end{pmatrix}
]
其中(Sigma = diag(sigma_1, sigma_2, dots ,sigma_r))，而(sigma_i(i = 1, 2, dots ,r))为矩阵(A)的全部非零特征值。
证明：由于矩阵(A^TA)为对称阵，根据谱分解，因此可以对角化。不妨设，
[V^TA^TAV =
egin{pmatrix}
lambda_1 & & \
& ddots & \
& & lambda_n
end{pmatrix}
=
egin{pmatrix}
Sigma^2 & 0 \
0 & 0
end{pmatrix}
]
将其记为((1))式，其中，
[Sigma^2 =
egin{pmatrix}
sigma_1^2 & & \
& ddots & \
& & sigma_r^2
end{pmatrix}
=
egin{pmatrix}
lambda_1 & & \
& ddots & \
& & lambda_r
end{pmatrix}
]
将正交矩阵(V)分块，记(V = (V_1, V_2))，其中(V_1)的大小为(n imes r)，(V_2)的大小为(n imes (n - r))。
将((1))等式两侧左乘(V)，由于(V^T = V^{-1})，可得：
[A^TAV = V
egin{pmatrix}
Sigma^2 & 0 \
0 & 0
end{pmatrix}
]
即：
[A^TA(V_1, V_2) = (V_1, V_2)
egin{pmatrix}
Sigma^2 & 0 \
0 & 0
end{pmatrix}
]
展开得：
[(A^TAV_1, A^TAV_2) = (V_1Sigma^2, 0)
]
因此，有如下等式成立：
[A^TAV_1 = V_1Sigma^2
]
[A^TAV_2 = 0
]
分别记为((2))式和((3))式，
对((2))等式两边同时左乘(V_1^T)，得：
[V_1^TA^TAV_1 = V_1^TV_1Sigma^2 = Sigma^2
]
然后等式两边左乘(Sigma^{-1})，右乘(Sigma^{-1})，得：
[Sigma^{-1}V_1^TA^TAV_1Sigma^{-1} = Sigma^{-1}Sigma^2Sigma^{-1}
]
由于((Sigma^{-1})^T = Sigma^{-1})，因此上式可以改写为：
[(AV_1Sigma^{-1})^T(AV_1Sigma^{-1}) = I_r
]
对((3))等式两边同时左乘(V_2^T)，得：
[V_2^TA^TAV_2 = (AV_2)^TAV_2 = 0
]
因此(AV_2 = 0)
令(U_1 = AV_1Sigma^{-1})，则由((11))得(U_1^TU_1 = I_r)
展开得：
[U_1^TU_1 =
egin{pmatrix}
u_1^T \
vdots \
u_r^T
end{pmatrix}
egin{pmatrix}
u_1, dots, u_r
end{pmatrix}
]
可得：
[egin{cases}
u_i^Tu_j = 1, i = j \
u_i^Tu_j = 0, i
eq j
end{cases}
]
构造(U = (U_1, U_2))，
其中(U_2 = (u_{r + 1}, dots , u_m))，且有(U_1^TU_1 = I_r, U_2^TU_1 = 0)
下证构造的(U, V)能够使得下式成立，
[U^TAV =
egin{pmatrix}
Sigma & 0 \
0 & 0
end{pmatrix}
]
对于(U_1 = AV_1Sigma^{-1})，等式两边同时右乘(Sigma)，得：(U_1Sigma = AV_1)
[egin{aligned}
U^TAV &= U^T(AV_1, AV_2) \
&=
egin{pmatrix}
U_1^T \
U_2^T
end{pmatrix}
(AV_1, AV_2) \
&=
egin{pmatrix}
U_1^T \
U_2^T
end{pmatrix}
(U_1Sigma, AV_2) \
&=
egin{pmatrix}
U_1^TU_1Sigma & 0 \
U_2^TU_1Sigma & 0
end{pmatrix} \
&=
egin{pmatrix}
Sigma & 0 \
0 & 0
end{pmatrix}
end{aligned}
]
因此，奇异值分解定理成立！下面再对式子进行变形，
[UU^TAVV^T = U
egin{pmatrix}
Sigma & 0 \
0 & 0
end{pmatrix}
V^T
]
即，
[A = U
egin{pmatrix}
Sigma & 0 \
0 & 0
end{pmatrix}
V^T
]