关于图的 Laplace 矩阵

这些天看论文用到了图的Laplace 矩阵，准备来总结一下：

1. from： A co-regularization approach to semi-supervised learning with multiple views

设一个图 (G) 的邻接矩阵（similarity matrix）是 (W)，这里 (W_{ij}ge 0) 表示数据点 (x_i) 和 (x_j) 之间的相似性。

图 (G) 的 Laplace 矩阵定义为：(L riangleq D-W)，这里 (D) 是图节点度矩阵，一个对角矩阵，(D_{ii}=sum_jW_{ij})。

对于定义在图顶点集上的函数，图 Laplace 矩阵是一个半正定算子。它提供了如下的光滑泛函：

[g^TLg=frac{1}{2}sum_{ij}W_{ij}(g_i-g_j)^2 quadquad ext{注： 论文原公式可能有错，缺少 1/2} ]

这里 (ginmathbb{R}^n) 是一个向量，确定了一个定义在图 (G) 上的函数，此函数在顶点 (i) 处的取值为 (g_i)。

2. from：Semi-weighted multiple kernel learning for graph-based clustering and semi-supervised classification

设图相似性矩阵 (S) 是非负的，即 (S_{ij}ge 0)（矩阵的每个元素非负），则图的 Laplace 矩阵定义为 (L riangleq D-S)，它具有如下重要 property [Mohar et al, 1991]:

The multiplicity (c) of the eigenvalue 0 of the Laplacian matrix (L) is equal to the number of connected components in the graph associated with (S)

3. from： Laplace matrix wikipedia

Laplace 矩阵有如下性质：

• L 是对称的

• L 是半正定的 (可由 L 对称，以及 L 对角占优证明）

• L 是一个 M 矩阵

• L 的每一行的行和为 0

• 由于对 (v_0=(1,1,dots,1)^T)，(Lcdot v_0 = extbf{0} = 0cdot v_0)，由此 (L) 有 0 特征值，Laplace matrix 是奇异的。

• 对 L 的特征值: (lambda_0lelambda_1<dotsle lambda_{n-1})，有 (lambda_0=0)

For a graph with multiple connected components, L is a block diagonal matrix, where each block is the respective Laplacian matrix for each component, possibly after reordering the vertices (i.e. L is permutation-similar to a block diagonal matrix).

---

2020.11.24 update:
最近看了一些 GCN 相关的 paper, 准备对此 blog 进行大规模的更新，以弥补之前的缺陷。

[1] 提到：

graph Laplacian 定义为：(L := D-A)， 有如下两种 normalized graph Laplacian 矩阵[Chung,1997] ：

• (L_{sym} := D^{-1/2} L D^{-1/2}quad) (symmetric normalized)
• (L_{rw} := D^{-1}Lquad) (row normalized)

[Taubin 1995] 最早提到 Laplacian smoothing: (hat{Y} = (I-gamma ilde{D}^{-1} ilde{L})X)

[Von 2007] 证明了 (L_{sym}) 和 (L_{rw}) 有相同的 (n) 个特征值（对应的重数也相同），但对应的特征向量不同。
[Chung,1997] 证明了：如果一个图没有二分结构，那么其对应的 Laplace matrix 的特征值全部落在区间 ([0, 2)) 中。

[COLT-03] 给出了为何将 (L := D-A) 称为 graph Laplacian 的缘由：与偏微分方程中的 Laplacian 算子 (Delta f = frac{partial^2 f}{partial^2 x} + frac{partial^2 f}{partial^2 y}+cdots) 之间的相似性。

Reference:
[1] AAAI-18. Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning.
[2] Chung, 1997. Spectral Graph Theory. 下载链接
[3] Taubin 1995. A signal processing approach to fair surface design.
[4] Von 2007. A tutorial on spectral clustering.
[5] COLT-03. Kernels and Regularization on Graphs.
[6] ICML-20 workshop. A Note on Over-Smoothing for Graph Neural Networks.