1、子空间投影定义
前面的部分讲过向量在一条经过原点的直线的投影的计算放方法。直线实际上是一个线性子空间,这里把投影的概念一般化到子空间的领域。
假设V是一个子空间,子空间N是V的正交补,那么任意一个Rn内的向量可以表示为 x = v+n,其中 v是V的成员,n是N的成员。
那么x在V上的投影是v,在N上的投影是n。
在前面计算向量A在直线L上的投影时,会做A的终点到直线的垂直向量,这个垂直向量其实就是L的正交补的向量。
在求解Ax=b的章节中,解x = v+n, v是A行空间的一个向量,n是零空间的任意向量。这个定义与这里投影的定义也是统一的,任意x在A行空间的投影都是v。
2、另一个角度
x在向量空间V的投影v,满足v属于V,且(x-v)正交V的任意向量。
3、子空间的投影是线性变换
假如子空间V的一组基是 v1,v2,..,vk, 矩阵A={v1,v2,...,vk}, 向量x在V上的投影是V的一个成员。
可以表示为v1,v2,..,vk的线性组合,也即Ay,y是某个向量。只要能求出向量y,就求出了投影向量。
V的正交补,是A的左零空间,也即A转置的零空间,N(T(A))。
x-Ay是V的正交补成员,有 T(A)(x-Ay) = 0,T(A)x = T(A)Ay。
之前的章节有结论,如果A的列向量是线性无关的,那么T(A)A是可逆的,所以 y = (T(A)A)逆*T(A)x。
于是乎,x在V上的投影可以表示为 A*(T(A)A)逆*T(A)*x,这是一个线性变换的形式。
4、通过正交补来求投影变换
上一节可知投影变换是一个线性变换,通过通过矩阵计算来求得变换矩阵。
假设线性空间V的投影矩阵是B,V的正交补的投影矩阵是C,有 x = Bx+Cx => I = B+C;
可知如果求出了B或C的其中一个,另一个可以很简单得到。因此可以依据简单的原则来选择计算B或C。
一般来说如果V的基向量个数比较多,可以考虑先求V的正交补,再求C,再得到B。
5、投影是子空间中与原向量距离最短的向量
x在子空间V中的投影是y,那么对于任意V中的向量y', 有||x-y||<=||x-y'||。
6、最小二乘解
方程Ax=b,如果b不属于C(A),那么方程是没有解的。
此时,C(A)中距离b最近的向量x',叫做最小二乘逼近,即最接近解的一个值。
依据前面的只是,可以知道x' = b在C(A)上的投影。 b-x'正交于C(A),属于A的左零空间:N(T(A))。
例1,假设R2内有3条直线,a1x+b1y=c1, a2x+b2y=c2,a3x+b3y=c3,可能有交点,也有可能没有交点。如果没有交点,可以通过求最小二乘逼近来求一个最接近的点。
例2,假设R2有3个点,(x1,y1),(x2,y2),(x3,y3),求一条经过3个点的直线,这样的直线可能不存在,可以通过求最小二乘逼近来求一条最接近的直线。