线性代数学习笔记（三）

A的列空间：column space

设Ax=b，以column picture视角看，每一个x，都是A的列的一种线性组合，每种组合均构成一个b。取遍x 得到的所有的b 构成了A的column space

A的零空间：nullspace

设Ax=0，所有的解x 构成的空间，就是A的nullspace. 

如果A可逆，那么A的nullspace只包含零向量；否则A的nullspace包含一系列的解（不可能无解，因为x=0永远都是解）。

观察A的零空间：将A化为R(row reduced form of A)

假设Ax=0，对A进行elimination不会影响方程组的解，所以elimination之后的U和原先的A有共同的nullspace（但是他们的column space不同）。U还能进一步转化成R(=reduced)：pivot均为1，且pivot上下都是0，R和A有相同的零空间，我们能很方便地观察R的零空间。

R中的 pivot变量 与 free变量

Rx=0与Ax=0的解完全相同，R和A有相同的零空间。

R中：pivot所在的列对应的x分量是pivot variable，其余是free variable，例如上图的R，x1和x3是pivot variable，x2是free variable.

Ax是A各个列的线性组合，而R中free column 可以很容易地用pivot column表示出来(将pivot column组合起来就是I)，如上例：col2 = 5 * col1 + 0 * col3

观察R的零空间

取x2=1，得到方程的解是x=c*[-5，1, -0]^T，c是一个常数，（-5,0）=（x2在R中对应的列）*-1

再如：

( R=rref(A)=egin{bmatrix}mathbf{1} & 1 & mathbf{0} & 1\ mathbf{0} & 0 & mathbf{1} & 1\ 0 & 0 & 0 & 0end{bmatrix} )

第一步令(x2,x4)=(1,0)，第二步令(x2,x4)=(0,1)，每次只让一个free variable等于1（其余free variable均为0，这样pivot column只需要解决等于1的free column），对应的解是：

( x=x_2egin{bmatrix}-1\ mathbf{1}\ 0\ mathbf{0}end{bmatrix}+x_4egin{bmatrix}-1\mathbf{0}\-1\mathbf{1} end{bmatrix} )

假设( R= egin{bmatrix} I & F end{bmatrix} )，那么R对应的nullspace matrix就是( X=egin{bmatrix} -F \ I end{bmatrix} )

总结：Ax=0的解依赖于 number of free variable = n - rank(A)

• 假如free variable数目为0：解只有零向量
• free variable数目大于0：解即为nullspace matrix的列（乘以任意常数），列的宽度=free variable的数目

Ax=b

存在解的条件

对增广矩阵elimination之后得到Rx=d，d必须在R的column space中才行，设rank(R)=r：

• R在r+1行以下都是0，对应的d在r+1行以下也应该都是0
• R在r行以上包含一个I，可以组合出在r行以上出现的任意的d

此处b3-b1-b2必须等于0，Ax=b才能有解。

特解x_particular

同Ax=0类似，用elimination方法化成Rx=d之后，特解是：free variables=0, pivot variables from d. 下例中，d=[1,6,0]'

特解可能没有、只有一个（满秩，nullspace只有零向量）、有很多个（nullspace有很多），上面这个方法只是比较方便的一种找特解法！

通解

=one of x_particular + all x_nullspace  

rank

某个矩阵的rank！

The rank r is the "dimension" of the column space.

rank	R	Ax = b	Ax=0	自由变量
r=m=n	I	只有一个解	只有零向量	没有
r=m<n	I F	有无数个解	有很多	有
r=n<m	I 0	0或1个解	只有零向量	没有
r<m,r<n	I F 0 0	0或无数个解	有很多	有

当存在自由变量时，nullspace就不止是一个0点，给Ax=b和Ax=0带来无限可能。自由变量的本质是可以由pivot variable线性表示出来。

当R底下是0时，0那部分会增加限制，有可能导致d不在pivot column的column space中。

右边多出，锦上添花；下面多出，生死一线。

basis

某个空间的basis！

相互独立且span出某个空间的一组向量。Rⁿ空间需要有n个相互独立的向量。

矩阵A的column space的basis可以是矩阵A的pivot column（注意，不是elimination后的R的pivot column，R的pivot column是C(R)的basis）

矩阵A的row space的basis可以是矩阵A elimination之后的非零行(elimination过程不改变A的row space)。

dimension

某个空间的dimension！

一个空间可以有无数个basis，但每个basis中包含的向量数目都相同，都是空间的dimension.

矩阵的四个基本子空间（A 的left nullspace是A^T的nullspace，取转置：(A'y)'=y'A''=y'A=0'，故名left nullspace）：

A's	is subspace of	its dimension	one of its basis
row space	R^n	r	pivot rows
column space	R^m	r	pivot columns
nullspace	R^n	n-r	special solutions for Ax=0
left nullspace	R^m	m-r	special solutions for A'x=0

笔记四中有四个子空间更深入的讨论！