投影矩阵：(P = A(A^TA)^{-1}A^T)
若(b)在列空间中，则(Pb = b)。
证明：因为(b)在列空间中，因此可以设(b = Ax)，则：
(Pb = A(A^TA)^{-1}A^Tb = A(A^TA)^{-1}A^TAx = Ax = b)
若(b)与列空间正交，则(Pb = 0)。
证明：(Pb = A(A^TA)^{-1}A^Tb)，因为正交，因此(A^Tb = 0)，所以(Pb = 0)
最小二乘的目标是最小化：(lVert Ax - b Vert^2 = lVert e Vert^2)
性质：如果矩阵(A)各列线性无关，那么(A^TA)就是可逆的。
证明：假设(A^TAx = 0)，两边同时乘以(x^T)，得：(x^TA^TAx = (Ax)^TAx = 0)。
当且仅当(Ax = 0)时，上式成立，此时(x = 0)。因此，(A^TA)的零空间只有零向量。得证！