ML#1 Math Base
这个系列的博文是为了记录我自己学习机器学习的过程与经验。
目录
1. 齐次线性方程组的求解
1.1 解的性质
齐次线性方程组如下：
[left{
egin{array}{ll}
a_{11}x_1 + a_{12}x_2 + cdots + a_{1n}x_n&=0 \
qquad qquad qquad quad vdots&=0 \
a_{m1}x_1 + a_{m2}x_2 + cdots + a_{mn} &=0\
end{array}
ight.
]
If:
[A = egin{bmatrix}
a_{11}& a_{12} &cdots &a_{1n} \
cdots& cdots & ddots &cdots\
a_{m1}& a_{m2} &cdots &a_{mn}
end{bmatrix}
,quad x = egin{bmatrix} x_1\ vdots \ x_nend{bmatrix}
]
则我们可以把上述线性方程组写为向量方程：(vec{A}vec{x} = 0)
如果，(x_1 = xi_{11}, cdots,x_{n} = xi_{n1})为向量方程的解，则(vec{x} = vec{xi_1})为齐次线性方程组的解向量。
那么什么是解空间呢？
已知有解向量(vec{x})，显然(vec{x}_1 + vec{x}_2,kvec{x}_1)，依然满足向量方程(vec{A}vec{x} = 0)，因此方程组的全体解向量组成的集合对于加法和数乘（乘常数）是封闭的，因此构成一个向量空间，称该向量空间为齐次线性方程组(vec{A}vec{x}=0)的解空间。
向量空间 本Blog从简出发，主要从直观角度介绍。我们可以认为满足向量加法和标量乘法（数乘）的封闭性和一些运算的限制如结合律就是一个向量空间。
更为简单的说，向量空间里：
- 不同向量间叠罗汉（向量加法）不能超出向量空间
- 任意向量的伸头缩脑（标量乘法）也不能超出向量空间
至于解空间有什么用？ 更新到这的时候我也还不知道。
1.2 基础解系和求法
基础解系，毫无疑问是一组满足特定条件的解向量。设基础解系为：({vec{eta}_1,vec{eta}_2,cdots,vec{eta}_t})，那么这些解向量需要满足什么条件呢？
- 不可替代，即(vec{eta}_{i})显然不能被(eta -vec{eta}_i)集合所表示，及({vec{eta}_1,vec{eta}_2,cdots,vec{eta}_t})是(vec{A}vec{x}=0)的一组线性无关的解。
- 所谓道生一....，基础解系肯定需要能表达整个解空间，因此(vec{A}vec{x}=0)的任一解都可由({vec{eta}_1,vec{eta}_2,cdots,vec{eta}_t})线性表出。
进一步，根据#1.1中所说的向量加法和标量乘法，显然(vec{A}vec{x}=0)的通解可以写成如下形式：
[vec{x} = k_1vec{eta}_1 + k_2vec{eta}_2 + cdots + k_tvec{eta}_t qquad;k_iin C
]
齐次线性方程组的解法就略了、、 ，比较basic。