正交矩阵，酉矩阵，正规矩阵 概念

理清概念，在机器学习的公式推导中常常用到。比如SVD, LDA

• 酉变换，正交变换
• 正规矩阵
• 酉矩阵
• 正交矩阵
• 对角化
• 对角阵
• 正定阵

正交变换

• 正交变换是保持图形形状和大小不变的几何变换，包含旋转，轴对称及上述变换的复合。
• 例子：
  • 　tbd

正规矩阵

• $A^* A = A A^*$ A 乘以自己的共轭转置（$A^*$) 等于 （$A^*$) 乘以自己，A是方块阵。
• 如果A是实系数矩阵，则$A^*= A^T  $，从而条件简化为 $A^T A=A A^T$ 
  
• 任意正规矩阵 都可以经过 正交变换 变成 对角矩阵，反过来，可以经过一个 正交变换 成为对角矩阵的矩阵 都是正规矩阵
• 矩阵的正规性是检验矩阵是否可对角化的一个简便方法
• 在复系数矩阵中，所有 酉矩阵 都是 正规的；在实系数 矩阵中，正交矩阵 都是正规矩阵
• 例子：
  • 　　
  • .

酉矩阵

• 特殊的正规矩阵 $U^* U = U U^* = I_n$
• $U, U^* $都是酉矩阵
• 酉矩阵的特征值都是模为1的复数，即分布在复平面的单位圆上，因此酉矩阵行列式的值也为1
• 酉矩阵 与对角阵关系 $U = V Sigma V^* $ V 是酉矩阵，$Sigma$ 是主对角线上元素绝对值为1的对角阵
• 例子

正交矩阵 orthogonal matrix

• 方块矩阵，元素是实数，行与列都是正交的单位向量，他的转置矩阵是其 逆矩阵
• $Q^-1 = Q^T <=> Q^-1  Q^T = I $
• 行列式 必为 +1 或 -1
• 正交矩阵是实数特殊化的酉矩阵，因此总是正规矩阵。
• 例子
  • 
  •  针对x轴反射。
  •  旋转反演（rotoinversion）:轴 (0,-3/5,4/5)，角度90°。

对角阵

• 对角矩阵（英语：diagonal matrix）是一个主对角线之外的元素皆为0的矩阵。对角线上的元素可以为0或其他值。

三角阵

• 在线性代数中，三角矩阵是方形矩阵的一种，因其非零系数的排列呈三角形状而得名。三角矩阵分上三角矩阵和下三角矩阵两种。

用途

• 三角矩阵可以看做是一般方阵的一种简化情形。比如，由于带三角矩阵的矩阵方程容易求解，在解多元线性方程组时，总是将其系数矩阵通过初等变换化为三角矩阵来求解；
• 又如三角矩阵的行列式就是其对角线上元素的乘积，很容易计算。有鉴于此，在数值分析等分支中三角矩阵十分重要。一个可逆矩阵A可以通过LU分解变成一个下三角矩阵L与一个上三角矩阵U的乘积。LU =>Low, Upper. LDU => L, Diagonal, U

对角化

• 如果一个方块矩阵 A 相似于对角矩阵，也就是说，如果存在一个可逆矩阵 P 使得 P ⁻¹AP 是对角矩阵，则它就被称为可对角化的。
• 可对角化矩阵和映射在线性代数中有重要价值，因为对角矩阵特别容易处理: 它们的特征值和特征向量是已知的，且其次方可通过计算对角元素同样的次方来获得。
• 在域 F 上的 n × n 矩阵 A 是可对角化的，当且仅当它的特征空间的维度等于 n，
• 它为真当且仅当存在由 A 的特征向量组成的 Fⁿ 的基。
• 如果找到了这样的基，可以形成有基向量作为纵列的矩阵 P，而 P ^-1AP 将是对角矩阵。
• 这个矩阵的对角元素是 A 的特征值。
• wiki中有对角化方法

正定阵

• 一个n×n的实对称矩阵M是正定的，当且仅当对于所有的非零实系数向量z，都有z^TMz > 0。
• 正定矩阵的性质类似复数中的正实数。