A的列空间：column space
设Ax=b，以column picture视角看，每一个x，都是A的列的一种线性组合，每种组合均构成一个b。取遍x 得到的所有的b 构成了A的column space
A的零空间：nullspace
设Ax=0，所有的解x 构成的空间，就是A的nullspace.
如果A可逆，那么A的nullspace只包含零向量；否则A的nullspace包含一系列的解（不可能无解，因为x=0永远都是解）。
观察A的零空间：将A化为R(row reduced form of A)
假设Ax=0，对A进行elimination不会影响方程组的解，所以elimination之后的U和原先的A有共同的nullspace（但是他们的column space不同）。U还能进一步转化成R(=reduced)：pivot均为1，且pivot上下都是0，R和A有相同的零空间，我们能很方便地观察R的零空间。
R中的 pivot变量 与 free变量
Rx=0与Ax=0的解完全相同，R和A有相同的零空间。
R中：pivot所在的列对应的x分量是pivot variable，其余是free variable，例如上图的R，x1和x3是pivot variable，x2是free variable.
Ax是A各个列的线性组合，而R中free column 可以很容易地用pivot column表示出来(将pivot column组合起来就是I)，如上例：col2 = 5 * col1 + 0 * col3
观察R的零空间
取x2=1，得到方程的解是x=c*[-5，1, -0]T，c是一个常数，（-5,0）=（x2在R中对应的列）*-1
再如：
( R=rref(A)=egin{bmatrix}mathbf{1} & 1 & mathbf{0} & 1\ mathbf{0} & 0 & mathbf{1} & 1\ 0 & 0 & 0 & 0end{bmatrix} )
第一步令(x2,x4)=(1,0)，第二步令(x2,x4)=(0,1)，每次只让一个free variable等于1（其余free variable均为0，这样pivot column只需要解决等于1的free column），对应的解是：
( x=x_2egin{bmatrix}-1\ mathbf{1}\ 0\ mathbf{0}end{bmatrix}+x_4egin{bmatrix}-1\mathbf{0}\-1\mathbf{1} end{bmatrix} )
假设( R= egin{bmatrix} I & F end{bmatrix} )，那么R对应的nullspace matrix就是( X=egin{bmatrix} -F \ I end{bmatrix} )
总结：Ax=0的解依赖于 number of free variable = n - rank(A)
- 假如free variable数目为0：解只有零向量
- free variable数目大于0：解即为nullspace matrix的列（乘以任意常数），列的宽度=free variable的数目
Ax=b
存在解的条件
对增广矩阵elimination之后得到Rx=d，d必须在R的column space中才行，设rank(R)=r：
- R在r+1行以下都是0，对应的d在r+1行以下也应该都是0
- R在r行以上包含一个I，可以组合出在r行以上出现的任意的d
此处b3-b1-b2必须等于0，Ax=b才能有解。
特解xparticular
同Ax=0类似，用elimination方法化成Rx=d之后，特解是：free variables=0, pivot variables from d. 下例中，d=[1,6,0]'
特解可能没有、只有一个（满秩，nullspace只有零向量）、有很多个（nullspace有很多），上面这个方法只是比较方便的一种找特解法！
通解
=one of xparticular + all xnullspace
rank
某个矩阵的rank！
The rank r is the "dimension" of the column space.
| rank | R | Ax = b | Ax=0 | 自由变量 |
| r=m=n | I | 只有一个解 | 只有零向量 | 没有 |
| r=m<n | I F | 有无数个解 | 有很多 | 有 |
| r=n<m |
I 0 |
0或1个解 | 只有零向量 | 没有 |
| r<m,r<n |
I F 0 0 |
0或无数个解 | 有很多 | 有 |
当存在自由变量时，nullspace就不止是一个0点，给Ax=b和Ax=0带来无限可能。自由变量的本质是可以由pivot variable线性表示出来。
当R底下是0时，0那部分会增加限制，有可能导致d不在pivot column的column space中。
右边多出，锦上添花；下面多出，生死一线。
basis
某个空间的basis！
相互独立且span出某个空间的一组向量。Rn空间需要有n个相互独立的向量。
矩阵A的column space的basis可以是矩阵A的pivot column（注意，不是elimination后的R的pivot column，R的pivot column是C(R)的basis）
矩阵A的row space的basis可以是矩阵A elimination之后的非零行(elimination过程不改变A的row space)。
dimension
某个空间的dimension！
一个空间可以有无数个basis，但每个basis中包含的向量数目都相同，都是空间的dimension.
矩阵的四个基本子空间（A 的left nullspace是AT的nullspace，取转置：(A'y)'=y'A''=y'A=0'，故名left nullspace）：
| A's | is subspace of | its dimension | one of its basis |
| row space | R^n | r | pivot rows |
| column space | R^m | r | pivot columns |
| nullspace | R^n | n-r | special solutions for Ax=0 |
| left nullspace | R^m | m-r | special solutions for A'x=0 |
笔记四中有四个子空间更深入的讨论！