• 矩阵基础_七月算法4月机器学习班第3次课程笔记


     
     
      desc
    关注什么点
    就是 到底有哪几个线索 是你所模糊的
     
    关于方程解的个数
    关于是否可逆
    关于是否可以对角化
    summary 判别式
    是否能对角化
     
    看来两个条件:
     
    要么是 对称阵
    要么是 特征值均不相同的方阵
    summary 判别式
    能否可逆
    要么 det >0
    要么 满秩
    可逆矩阵 一定是方阵
    正定矩阵
    一定是对称阵,对称阵一定是方阵
    正定矩阵一定有 N 个非零特征值,即满秩,所以可逆
    正定矩阵
    看英文名字才好理解
    positive definite
    definite 是确定的 概念
    确定为正,即 一定的 正,即 每一个 特征值 都为正
    但是 这么一翻译过来就 没这感觉了
    矩阵间的关系
     
     
     
      desc
    矩阵分解的种类
    特征分解
    谱分解        #基于特征分解,但是 与 特征分解的结果又完全不同
    奇异值分解
    QR分解等等
     
    但是 特征分解(Eigen decomposition),又称谱分解(Spectral decomposition)
    是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法,但是两者的分解 结果形式完全不同,一个是乘积一个是加和
    矩阵的特征分解
    前提,必须是可对角化的矩阵,
    即或者是 对称矩阵或者是各个特征值不相等的矩阵。即特征值的代数重数均为1
     
    其基本思路是:
    因为 A 可以对角化即:
    P^-1·A·P = Q
    那么,必有:
    A = P·Q·P^-1
    相当于 反过来倒是有一个 矩阵的等式【观点】
    所以 定义这种方式为 矩阵的特征分解
     
    矩阵的 SVD 分解,是矩阵的特征分解在任意矩阵上的推广
    谱分解
    1. 概念什么是谱:就是特征值的集合。
     
    2. 物理意义:
    因为 矩阵的谱分解的形态不是 把矩阵分解为 A*B 等乘积的形式,而是分解为相加的形式
    即 
    A = Σλi Ai  #这是其亮点【观点】
    而这里每一个元素 就像是 光谱的叠加,所以叫做 基于谱的分解
     
    3. 矩阵的谱分解 和 矩阵特征分解 的关系
    refer
    解释
    A = PQP^-1
    如何理解 这个 P,P^-1
    先放过来,为 Q = P^-1 A P
    即:一般的矩阵,只能保证 P 的各个列之间是线性无关,不一定正交
    而只有 对称矩阵,正定矩阵,才能让 P 为 正交矩阵,此时 的 P^-1 = P^T 了
     
    所以 才说  对称矩阵 可以 酉变换,即 用酉矩阵对角化
    酉矩阵
    又称  幺正矩阵,即  正交矩阵在 复数上的扩展
    线性无关的直观理解
    二维的 就是不共线
    三维的 就是不共面,即两个合成一个,另外一个给抵消了
     
     
     
       
    程博士的讲课思路
    引入了 四个子空间
    讲解了 特征分解
    讲解了 SVD
    讲解了 PCA
    新的观点
    Ax = b【观点】
    新的观点
    Ax = λx
    Ax 其实是对 x 在做旋转和伸缩   【观点】
    而 对于A 的特征向量,A 对 x 没有做旋转只做了 伸缩
     
    新的观点
    AB = C
    A 叫做维度矩阵,B 叫做数据矩阵,C 就是 降维后的矩阵
    A 在对 B 做降维
    四个子空间
    关于 列空间,零空间,行空间,左零空间
    对于 Ax = B,其中 A = [a1, a2, a3, ,,, an], A = m*n
    列空间 是的 矩阵每个列拼接的,所以维度 与 每个列维度相同,所以是 m 维度
    零空间 就是 x 的维度,所以是 n 维度的
     
     
    对于 N 维度的全空间而言,基的个数 和 基的维度一定相等
    但是 全空间的子空间 不一定,即:虽然也是 m 维度的,但是 子空间只占一部分
    矩阵 A 的列空间 是 R^m 的子空间
    即:可能填不满
    而 子空间也有基,即  列空间是一个 m维全空间的子空间,其 的 各个列如果线性无关将会组成 该子空间的一组基
    即:仅仅是 方程组的这些列 尚不足以构成 全空间的基
    但是还有 左零空间,左零空间的基   一定与 列空间的 基 正交
    两者合并 构成了完整的 m维度的全空间
    列空间与全空间的关系
    【观点】 就是 全空间的一个子集,一部分空间而已
    子空间只能 撑开一个 低维度的空间
    列空间的 属性是 子空间
    列空间 强调的 是空间
    高维空间的补
    空间的补充与拼接,只能在 维度上 垂直着的补,而不是 斜着补 
    列空间本身也有基,即子空间的基
     
    认识一个概念 高维空间 之间的垂直
    即:列空间这个空间中的 任意拿出的一个向量  与 left null space 中的 任意拿出的一个向量
    都是相互垂直的,这个是 整个空间的垂直 
    新的观点
    列空间的 秩 是 列空间这个子空间 占整个全空间的 筹码
    比如 列空间是维度是 10,它的秩是 6,那么列空间就站 全空间的 60%
     
    列空间基的个数 等于其rank ,这就是 重新认识 秩的概念
    秩相当于该 子空间在 全空间的 占比
    如何使用这四个子空间
    1. 判断方程组是否有解
    2. SVD 的解释
    3. 依据 SVD 直接 给出 方程组的解
    新的观点
    Ax = b
    如果 b ∈ C(A),那么方程组有解
    如果 b ∉ C(A),那么方程组无解
     
    当方程组有解,如果 A 的零空间基为零,即维度为0,那么唯一解
    如果大于0,那么无穷多解
     
     
    这个的用法 主要是 解释 以前给你的判断 有解无解 的公式 依据,一种思考角度,即:
    rank([A b]) = rank(A)  说明 b ∈C(A),那么 一定有解,即在看 b 是否属于 C(A)
    n - rank R(A)  如果为0,那么唯一解,否则无穷多解, 即在看 零空间的维度,此时即 满秩矩阵
     
    矩阵的列秩和行秩总是相等的,因此它们可以简单地称作矩阵A的秩
    所以 上面的 rank R(A) 可以写为 rank A
    借助 SVD 求 方程组的解
    对 A SVD 拿到它的 V2
    然后通过 取特殊值,得到一个 特解 p
    然后 x = p + v2 · Φ
    几何重数 和 代数重数
    这两个都是 特征值的属性,即 矩阵的特征方程多项式分解后,每个 特征值的 指数为代数重数
    每个特征值对应的线性无关向量的个数为 几何重数
     
    如果 代数重数 均为1,那么 一定可以 对角化
    几何重数 小于等于 对应的代数重数
    refer
    数学的抽象性
    抽象 的概念就是 难理解,不好掌握,掌握了也忘了,不知道其 需求来源
    即:在于 没有用处,当知道怎么用。。。就有体会了
     
     
    听课前的困惑
    方程组的解的判定,基础解系 ?貌似与 秩有关 ????
    互相不等 特征值
    线性无关特征向量
    特征值的个数
    秩 和 特征值的 关系
  • 相关阅读:
    (Android)如何将一个高复用性项目供其他项目使用(jar导出,导入,Is Library)(转)
    Android:SlidingMenu 使用详解 .
    单项链表和双向链表的区别
    LinkedList 与 ArrayList的区别
    完全二叉树与满二叉树
    C/C++之回调函数
    C++静态库与动态库
    C++项目中的extern "C" {}
    C++强大背后
    移动优先与响应式Web设计
  • 原文地址:https://www.cnblogs.com/jianzhitanqiao/p/5488648.html
Copyright © 2020-2023  润新知