高等代数9 欧几里得空间

高等代数9 欧几里得空间

---

目录

• 高等代数9 欧几里得空间
• 定义与基本性质
  • 内积 欧几里得空间
    • 常见的欧几里得空间举例
  • 长度
    • 单位向量
    • 单位化
  • 不等式
    • 柯西—布涅柯夫斯基不等式
  • 夹角
    • 垂直 正交
  • 度量矩阵
• 标准正交基
  • 求标准正交基
    • 扩充
    • 施密特正交化
  • 从一组标准正交基到另一组标准正交基的基变换公式
  • 正交矩阵
• 同构
• 正交变换
• 子空间
• 实对称矩阵的标准形
• 向量到子空间的距离 最小二乘法

---

定义与基本性质

内积 欧几里得空间

设(V)是实数域(R)上的一线性空间，在(V)上定义了一个二元函数，称为内积，记作((alpha,eta))，它具有以下性质：

1. ((alpha,eta)=(eta,alpha))
2. ((kalpha,eta)=k(alpha,eta))
3. ((alpha+eta,gamma)=(alpha,gamma)+(alpha,gamma))
4. ((alpha,alpha)geq 0)，当且仅当(alpha=0)时((alpha,alpha)=0)

在这里(alpha,eta,gamma)是(V)中任意的向量，(k)是任意的实数，这样的线性空间称欧几里得空间或简称为欧氏空间

常见的欧几里得空间举例

1. 线性空间(R^n)，对于向量(alpha=(a_1,a,cdots,a_n),eta=(b_1,b_2,cdots,b_n))，

   定义内积 ((alpha,eta)=a_1b_1+a_2b_2+cdots+a_nb_n)

长度

• 定义

  非负实数(sqrt{(alpha,alpha)})称为向量(alpha)的长度，记作(|alpha|)。

  (|kalpha|=sqrt{(kalpha,kalpha)}= sqrt{k^2(alpha,alpha)}=|k||alpha|)

单位向量

长度为1的向量称为单位向量

单位化

用向量(alpha)的长度去除向量(alpha)，得到一个与(alpha)成比例的单位向量，通常称把(alpha)单位化。

(frac{1}{|alpha|}alpha)

不等式

柯西—布涅柯夫斯基不等式

• 柯西—布涅柯夫斯基不等式

  对任意的向量(alpha、eta)有

  [|(alpha,eta)|leq |alpha| |eta| ]

  当且仅当(alpha,eta)线性相关时，等号成立。

夹角

• 定义 夹角

  非零向量(alpha,eta)的夹角定义为

  (<alpha,eta>=arccosfrac{(alpha,eta)}{|alpha||eta|},0leq <alpha,eta> leq pi)

垂直 正交

• 定义 垂直 正交

  如果向量(alpha,eta)的内积为零，即 ((alpha,eta)=0)，

  那么(alpha,eta)称为正交或互相垂直，记作(alpha perp eta)

勾股定理

当向量(alpha,eta)正交时 (|alpha+eta|^2=|alpha|^2+|eta|^2)

当向量(alpha_1,alpha_2,cdots,alpha_m)两两正交时 (|alpha_1+alpha_2+cdots+alpha_m|^2=|alpha_1|^2+|alpha_2|^2+cdots+|alpha_m|^2)

度量矩阵

设(V)是一个(n)维欧几里得空间，在(V)中取一组基(varepsilon_1,varepsilon_2,cdots,varepsilon_n)，对(V)中任意两个向量

(alpha=x_1varepsilon_1+x_2varepsilon_2+cdots+x_nvarepsilon_n \eta=y_1varepsilon_1+y_2varepsilon_2+cdots+y_nvarepsilon_n)

根据乘积的性质得

[(alpha,eta)=(x_1varepsilon_1+x_2varepsilon_2+cdots+x_nvarepsilon_n ,y_1varepsilon_1+y_2varepsilon_2+cdots+y_nvarepsilon_n) \ =sum_{i=1}^nsum_{j=1}^n(varepsilon_i,varepsilon_j)x_iy_j ]

令 (a_{ij}=(varepsilon_i,varepsilon_j) (i,j=1,2,cdots,n) \a_{ij=a_{ji}})

于是

[(alpha,eta)=sum_{i=1}^nsum_{j=1}^na_{ij}x_iy_j \ =X'AY \ X=left ( egin{matrix} x_{1} \ x_{2} \ vdots \ x_{n} \ end{matrix} ight ) Y= left ( egin{matrix} y_{1} \ y_{2} \ vdots \ y_{n} \ end{matrix} ight ) \ A=(a_{ij})_{nn} ]

(X,Y)分别是(alpha,eta)的坐标，而矩阵(A=(a_{ij})_{nn})称为基(varepsilon_1,varepsilon_2,cdots,varepsilon_n)的度量矩阵。

• 不同基的度量矩阵是合同的
• 度量矩阵是正定的

标准正交基

• 定义 正交向量组

  欧氏空间(V)中一组非零的向量，如果它们两两正交，就称为正交向量组。

  正交向量组是线性无关的。

• 定义 标准正交基

  在(n)维欧氏空间中，由(n)个向量组组成的正交向量组称为正交基

  由单位向量组成的正交基称为标准正交基。

  一组基为标准正交基的充分必要条件是：它的度量矩阵为单位矩阵

  在(n)维欧式空间中，标准正交基是存在的。

在标准正交基下，向量的坐标可以通过内积简单地表示出来

[alpha=(varepsilon_1,alpha)varepsilon_1+(varepsilon_2,alpha)varepsilon_2+cdots+(varepsilon_n,alpha)varepsilon_n \ alpha=x_1varepsilon_1+x_2varepsilon_2+cdots+x_nvarepsilon_n \ x_i =(varepsilon_i,alpha) (i=1,2,cdots,n) ]

在标准正交基下，内积具有简单的形式

[alpha=x_1varepsilon_1+x_2varepsilon_2+cdots+x_nvarepsilon_n \ eta=y_1varepsilon_1+y_2varepsilon_2+cdots+y_nvarepsilon_n \ 那么 (alpha,eta)=x_1y_1+x_2y_2+cdots+x_ny_n=X'Y ]

求标准正交基

扩充

从任意非零向量出发，逐个扩充，得到正交基；再单位化得到标准正交基。

• 定理

  (n)维欧式空间中的任一个正交向量组都能扩充为一组正交基。

设(alpha_1,alpha_2,cdots,alpha_m)是一正交向量组

因为(m <n)一定还有向量(eta)不能被(alpha_1,alpha_2,cdots,alpha_m)线性表出

做向量(alpha_m=eta-k_1alpha_1-k_2alpha_2-cdots-k_malpha_m)，这里(k_1,cdots,k_m)是待定系数。

用(alpha_i)与(alpha_{m+1})作内积，得((alpha_i,alpha_{m+1})=(eta,alpha_i)-k_i(alpha_i,alpha_i)(i=1,2,cdots,m))

取(k_i=frac{(eta,alpha_i)}{(alpha_i,alpha_i)} (i=1,2,cdots,m))

有((alpha_i，alpha_{m+1})=0(i=1,2,cdots,m))

由(eta)的选择可知(alpha_{m+1} eq 0)

因此(alpha_1,alpha_2,cdots,alpha_m,alpha_{m+1})是一正交向量组。

施密特正交化

把一组线性无关的向量变成一单位正交向量组

• 对于(n)维欧氏空间中任意一组基(varepsilon_1,varepsilon_2,cdots,varepsilon_n)，都可以找到一组标准正交基(eta_1,eta_2,cdots,eta_n)，使

  (L(varepsilon_1,varepsilon_2,cdots,varepsilon_i)=L(eta_1,eta_2,cdots,eta_i),i=1,2,cdots,n)

(L(varepsilon_1,varepsilon_2,cdots,varepsilon_i)=L(eta_1,eta_2,cdots,eta_i),i=1,2,cdots,n)就相当于由基(varepsilon_1,varepsilon_2,cdots,varepsilon_n)到基(eta_1,eta_2,cdots,eta_n)的过渡矩阵是上三角形的。

例

从一组标准正交基到另一组标准正交基的基变换公式

[egin{cases} eta_1=a_{11}varepsilon_1 +a_{12}varepsilon_2+cdots +a_{1n}varepsilon_n \ eta_2=a_{21}varepsilon_1 +a_{22}varepsilon_2+cdots +a_{2n}varepsilon_n \ cdots cdots \ eta_n=a_{n1}varepsilon_1 +a_{n2}varepsilon_2+cdots +a_{nn}varepsilon_n \ end{cases} \ (eta_1,eta_2,cdots,eta_n) =(varepsilon_1,varepsilon_2,cdots,varepsilon_n) left ( egin{matrix} a_{11} & a_{12} & cdots & a_{1n} \ a_{21} & a_{22} & cdots & a_{2n} \ vdots & vdots & & vdots \ a_{s1} & a_{s2} & cdots & a_{sn} \ end{matrix} ight ) \ (eta_i,eta_j)= egin{cases} 1 ,&当i=j\ 0 ,&当i eq j\ end{cases} \ ]

矩阵(A)的各列就是(eta_1,eta_2,cdots,eta_n)在标准正交基(varepsilon_1,varepsilon_2,cdots,varepsilon_n)下的坐标，按着公式(5),公式(6)可以写成

[a_{1i}a_{1j}+a_{2i}a_{2j}+cdots+a_{ni}a_{nj}= egin{cases} 1 ,&当i=j\ 0 ,&当i eq j\ end{cases} \ A'A=E \ A^{-1}=A' ]

正交矩阵

• 定义 正交矩阵

  (n)级实数矩阵(A)称为正交矩阵，如果(A'A=E)

由标准正交基到标准正交基的过渡矩阵是正交矩阵；

反过来，如果第一组基是标准正交基，同时过渡矩阵是正交矩阵，那么第二组基也一定是标准正交基。

同构

• 定义

  实数域(R)上欧氏空间(V)与(V')称为同构的，如果由(V)到(V')有一个双射(sigma)，满足

  1. (sigma(alpha+eta)=sigma(alpha)+sigma(eta));
  2. (sigma(kalpha)=ksigma(alpha));
  3. ((sigma(alpha),sigma(eta))=(alpha,eta))

  这里(alpha ,eta in V,kin R)

这样的映射称为从(V)到(V')的同构映射。

从定义可以看出，如果(sigma)是欧式空间(V)到(V')的一个同构映射，那么(sigma)也是(V)到(V')的在线性空间上的同构映射。

• 同构的欧式空间有相同的维数

• 每一个(n)维的欧氏空间都与(R^n)同构

• 同构作为欧氏空间之间的关系具有反身性，对称性，传递性。

• 任意两个(n)维欧式空间都同构。

• 定理

  两个有限维欧氏空间同构的充分必要条件是它们的维数相同。

正交变换

• 定义 正交变换

  设欧氏空间(V)的线性变换(mathscr{A})称为正交变换，如果它保持向量的内积不变，即对于任意的(alpha,eta in V)，都有

  ((mathscr{A}alpha,mathscr{A}eta)=(alpha,eta))

• 定理

  设(mathscr{A})是(n)维欧氏空间(V)的一个线性变换，于是下面四个命题是相互等价的

  1. (mathscr{A})是正交变换
  2. (mathscr{A})保持向量的长度不变，即对于(alpha in V,|mathscr{A}alpha|=|alpha|)；
  3. 如果(varepsilon_1,varepsilon_2,cdots,varepsilon_n)是标准正交基，那么(mathscr{A}varepsilon_1,mathscr{A}varepsilon_2,cdots,mathscr{A}varepsilon_n)也是标准正交基；
  4. (mathscr{A})在任一祖标准正交基下的矩阵是正交矩阵

因为正交矩阵是可逆的，所以正交变换是可逆的

在标准正交基下，正交变换和正交矩阵相对应，所以正交矩阵乘积与正交矩阵的逆还是正交矩阵。

• 第一类与 第二类

  如果(A)是正交矩阵，那么由(AA'=E)，可知(|A|^2=1或|A|=pm1)

  1. 行列式等于1的正交变换通常称为旋转，或者第一类的；
  2. 行列式等于-1的正交变换称为第二类的

子空间

• 定义 正交的子空间

  设(V_1,V_2)是欧氏空间(V)中两个子空间，如果对于任意的(alpha in V_1,eta in V_2)，恒有

  ​ ((alpha,eta)=0)

  则称(V_1,V_2)是正交的，记为(V_1 perp V_2)

  一个向量(alpha)，如果对于任意的(eta in V_1)，恒有

  ​ ((alpha,eta)=0)

  则称(alpha)与子空间正交，记为(alpha perp V_1)

• 定理

  如果子空间(V_1,V_2,cdots,V_s)两两正交，那么和(V_1+V_2+cdots+V_s)是直和。

• 定义 正交补

  子空间(V_2)称为子空间(V_2)称为子空间(V_1)的一个正交补，如果(V_1 perp V_2)并且(V_1+V_2=V)

• 定理

  (n)维欧式空间的每一个子空间都有唯一的正交补。

  推论： (V_1^{perp})恰由所有与(V_1)正交的向量组成

• 内射影

  由分解式(V=V_1 oplus V_1^{perp})可知

  (V)中任一向量(alpha)都可以唯一分解成(alpha=alpha_1+alpha_2,alpha_1in V_1,alpha_2 in V_1^{perp})

  我们称(alpha_1)为向量(alpha)在子空间(V_1)上的内射影

实对称矩阵的标准形

• 任意一个对称矩阵都合同于一个对角矩阵

  即存在一个可逆矩阵(C)使(C'AC)成对角形

现在利用欧式空间的理论，对于实对称矩阵的结构进行加强

• 引理1 设(A)是实对称矩阵，则(A)的特征值都是实数

对应于实对称矩阵(A)，在(n)维欧式空间(R^n)中定义一个线性变换(mathscr{A})如下

[mathscr{A}left ( egin{matrix} x_{1} \ x_{2} \ vdots \ x_{n} \ end{matrix} ight ) = A left ( egin{matrix} x_{1} \ x_{2} \ vdots \ x_{n} \ end{matrix} ight ) ]

显然(mathscr{A})在标准正交基

[varepsilon_1=left ( egin{matrix} 1 \ 0 \ vdots \ 0 \ end{matrix} ight ) , varepsilon_2= left ( egin{matrix} 0\ 1 \ vdots \ 0 \ end{matrix} ight ) , cdots, varepsilon_n= left ( egin{matrix} 0\ 0 \ vdots \ 1 \ end{matrix} ight ) ]

下的矩阵就是(A)

• 引理2

  设(A)是实对称矩阵，(mathscr{A})定义如上，

  则对任意(alpha ,eta in R^n)有

  [(mathscr{A}alpha,eta)=(alpha,mathscr{A}eta)\ 或 eta'(Aalpha)=alpha'Aeta ]

• 定义 对称变换

  欧式空间中满足等式(10)的线性变换称为对称变换。

• 引理3

  设(mathscr{A})是对称变换，(V_1)是(mathscr{A}-)子空间，则(V_1^{perp})也是(mathscr{A}-)子空间。

• 引理4

  设(A)是实对称矩阵，则(R^n)中属于(A)的不同特征值的特征向量必正交。

• 定理
  对于任意一个(n)级实对称矩阵(A)，都存在一个(n)级正交矩阵(T)，使(T'AT=T^{-1}AT)成对角形。

  正交矩阵T的求法

  1. 求出(A)的特征值，设(lambda_1,lambda_2,cdots,lambda_r)就是(A)的全部不同的特征值。

  2. 对于每个(lambda_i)，解齐次线性方程组

     [(lambda_iE-A) left ( egin{matrix} x_{1} \ x_{2} \ vdots \ x_{n} \ end{matrix} ight ) =0 ]

     求出一个基础解系，这就是(A)的特征子空间(V_{lambda_i})的一组基。

     由这组基出发，求出一组标准正交基

  3. 正交矩阵(T)就由特征向量组成

• 定理

  任意一个实二次型 (sum_{i=1}^n sum_{j=1}^na_{ij}x_ix_j,a_{ij}=a_{ji})

  都可以经过正交的线性替换变为平方和(lambda_1y_1^2+lambda_2y_2^2+cdots+lambda_ny_n^2)，其中平方项的系数(lambda_1,lambda_2,cdots,lambda_n)就是矩阵(A)的特征多项式全部的根

向量到子空间的距离 最小二乘法

• 定义 距离

  长度(|alpha -eta|)称为向量(alpha)和(eta)的距离，记为(d(alpha,eta))

  距离的三条基本性质：

  1. (d(alpha,eta)=d(eta,alpha));
  2. (d(alpha,eta)geq 0)并且仅当(alpha=eta)时等号才成立；
  3. (d(alpha,eta)leq d(alpha,gamma)+d(gamma,eta))（三角不等式）;

最小二乘法问题

线性方程组

[egin{cases} a_{11}x_1 +a_{12}x_2+cdots +a_{1n}x_n=b_1 \ a_{21}x_1 +a_{22}x_2+cdots +a_{2n}x_n=b_2 \ cdots cdots \ a_{s1}x_1 +a_{s2}x_2+cdots +a_{sn}x_n=b_s \ end{cases} ]

可能无解。

即任何一组数(x_1,x_2,cdots,x_n)都可能使

[sum_{i=1}^n(a_{i1}x_1 +a_{i2}x_2+cdots +a_{in}x_n-b_i) ]

不等于零。

我们设法找(x_1^0,x_2^0,cdots,x_s^0)使((13))最小，这样的(x_1^0,x_2^0,cdots,x_s^0)称为方程组的最小二乘解。