• 线性代数之SVD与PCA


    [作者:byeyear    Email:east3@163.com    首发www.cnblogs.com    转载请注明]

    回忆学校的美好时光,一起来复习下曾经的课程吧。

    1. SVD推荐ams上的一篇文章:

        http://www.ams.org/samplings/feature-column/fcarc-svd

        下面的文字为简短摘要。

        我们知道,如果矩阵A有一组特征值λk和特征向量vk,那么下式成立:

        Avk=λvk

        矩阵的奇异值σ满足类似的式子,如下所示:

        Avkkuk

        各单位向量vk相互正交;各单位向量uk也相互正交。

        以二阶矩阵为例,它有两个奇异值σ1,σ2

        Av11u1

        Av22u2

        v1和v2正交,u1和u2正交,且均为单位向量。对于R2中的任意向量x,若将其投影到span{v1,v2},那么:

        Ax=A[(v1·x)v1+(v2·x)v2]

            =(v1·x)Av1+(v2·x)Av2

            =(v1·x)σ1u1+(v2·x)σ2u2

            =u1σ1v1Tx+u2σ2v2Tx                 // 此处利用了mTnp=pmTn,p,m,n为同阶向量

         因此A=u1σ1v1T+u2σ2v2T

         写成更一般的矩阵形式,就是:

         A=UΣV

         其中:

         A是mxn矩阵

         U=[u1 u2 ... um],是mxm方阵

         Σ是主对角线为σ... σn的mxn准对角矩阵

         V=[v1 v2 ... vn],是nxn方阵

  • 相关阅读:
    03-django模型(1)
    Django02 Django基础知识
    jquery
    Django01 web http 基础
    Python之协程
    Python之线程
    进程 操作
    CSS
    UVALive-3268 Jamie's Contact Groups (最大流,网络流建模)
    UVA-10806 Dijkstra, Dijkstra. (最小费用流,网络流建模)
  • 原文地址:https://www.cnblogs.com/byeyear/p/3375030.html
Copyright © 2020-2023  润新知