矩阵分解
矩阵可以分解为多个矩阵的乘积。
这些矩阵的乘积是原矩阵的低秩近似。
一个矩阵的秩一定小于这个矩阵的min(行数，列数)。
[rank(A) leq min(M,N)
]
矩阵的秩表达了这个矩阵张成的空间的维度，如果矩阵当前的维度比矩阵的秩大，那么说明在这个矩阵中一定包含线性相关的向量，某些向量能够用其他向量线性表示。
矩阵分解的应用
推荐系统
用户-物品矩阵，协同过滤
文本挖掘
文档-词矩阵，话题模型
社交网络
节点-节点矩阵，链接预测
常用的矩阵分解算法
SVD分解
SVD介绍
下面这篇博客介绍的很好了。
https://www.cnblogs.com/lzllovesyl/p/5243370.html
（SVD分解的并行算法？）
PCA
PCA是SVD分解的一个应用。
LSI（Latent Semantic Indexing）：SVD分解在文本数据上的应用
潜在语义索引，在词袋模型的假设下，将文档集合表达为【文档-词】的矩阵，每一行表示一个文档，由词袋中的词构成列。
分解之后，左特征向量U表示的是由带权的词向量表达的话题，右特征向量V表达的是由话题进行表达的文档。
LSI就是将【文档-词】矩阵进行分解，保留最大的K个特征值，其余置0。
LSI最终输出特征向量，形成话题和用话题表示的文档。
数学优美，计算难度大。
https://www.jianshu.com/p/40fbe2bdffd3
NMF分解
https://blog.csdn.net/pipisorry/article/details/52098864
D、U、V都是非负矩阵。U和V不再要求正交。
优化目标：
[min_{U,V}|D-U imes V^T|^2, s.t. u_{ij} geq 0;v_{ij} geq 0
]
目标函数为非凸函数，无全局最优解。
进行交替优化，固定U优化V，固定V优化U。
低秩近似
低秩：一些行/列可以表达为其他行列的线性组合
低秩意味着局部平滑（local smoothness）
在文本中，平滑指文档比较相似；在推荐系统中，平滑指用户购买兴趣相似。