论文信息
论文标题：How Attentive are Graph Attention Networks?
论文作者：Shaked Brody, Uri Alon, Eran Yahav
论文来源：2022,ICLR
论文地址：download
论文代码：download
1 Abstract
在 GAT中，每个节点都为它的邻居给出自己的查询表示。然而，在本文中证明了 GAT 计算的是一种非常有限的注意类型：注意力分数在查询节点上是无条件的。本文将其定义为静态注意力，并提出了相应的动态注意力 GATv2。
2 Introduction
3 Preliminaries
3.1 Graph neural networks
$\boldsymbol{h}_{i}^{\prime}=f_{\theta}\left(\boldsymbol{h}_{i}, \text { AGGREGATE }\left(\left\{\boldsymbol{h}_{j} \mid j \in \mathcal{N}_{i}\right\}\right)\right) \quad\quad\quad(1)$
3.2 Graph attention networks
$e\left(\boldsymbol{h}_{i}, \boldsymbol{h}_{j}\right)=\text { LeakyReLU }\left(\boldsymbol{a}^{\top} \cdot\left[\boldsymbol{W} \boldsymbol{h}_{i} \| \boldsymbol{W} \boldsymbol{h}_{j}\right]\right)\quad\quad\quad(2)$
注意函数的定义为：
然后，GAT计算相邻节点的变换特征的加权平均值（然后是一个非线性 $\sigma$）作为 $i$ 的新表示，使用归一化注意系数：
$\boldsymbol{h}_{i}^{\prime}=\sigma\left(\sum\limits _{j \in \mathcal{N}_{i}} \alpha_{i j} \cdot \boldsymbol{W} \boldsymbol{h}_{j}\right)\quad\quad\quad(4)$
4 The expressive power of graph attention mechanisms
4.1 The importance of dynamic weighting
给定一个查询向量，如果注意力函数总是对一个键的权重至少和任何其他键一样大，而无需进行查询，就说这个注意函数是静态的：
Definition 3.1 (Static attention). A (possibly infinite) family of scoring functions $\mathcal{F} \subseteq \left(\mathbb{R}^{d} \times \mathbb{R}^{d} \rightarrow \mathbb{R}\right)$ computes static scoring for a given set of key vectors $\mathbb{K}=\left\{\boldsymbol{k}_{1}, \ldots, \boldsymbol{k}_{n}\right\} \subset \mathbb{R}^{d}$ and query vectors $\mathbb{Q}=\left\{\boldsymbol{q}_{1}, \ldots, \boldsymbol{q}_{m}\right\} \subset \mathbb{R}^{d}$ , if for every $f \in \mathcal{F}$ there exists a "highest scoring" key $j_{f} \in[n]$ such that for every query $i \in[m]$ and key $ j \in[n]$ it holds that $f\left(\boldsymbol{q}_{i}, \boldsymbol{k}_{j_{f}}\right) \geq f\left(\boldsymbol{q}_{i}, \boldsymbol{k}_{j}\right)$ . We say that a family of attention functions computes static attention given $\mathbb{K}$ and $\mathbb{Q}$ , if its scoring function computes static scoring, possibly followed by monotonic normalization such as softmax.
对动态注意力机制的定义：
Definition 3.2 (Dynamic attention). A (possibly infinite) family of scoring functions $\mathcal{F} \subseteq \left(\mathbb{R}^{d} \times \mathbb{R}^{d} \rightarrow \mathbb{R}\right)$ computes dynamic scoring for a given set of key vectors $\mathbb{K}=\left\{\boldsymbol{k}_{1}, \ldots, \boldsymbol{k}_{n}\right\} \subset \mathbb{R}^{d}$ and query vectors $\mathbb{Q}=\left\{\boldsymbol{q}_{1}, \ldots, \boldsymbol{q}_{m}\right\} \subset \mathbb{R}^{d}$ , if for any mapping $\varphi:[m] \rightarrow[n]$ there exists $f \in \mathcal{F}$ such that for any query $i \in[m]$ and any key $j_{\neq \varphi(i)} \in[n]: f\left(\boldsymbol{q}_{i}, \boldsymbol{k}_{\varphi(i)}\right)>f\left(\boldsymbol{q}_{i}, \boldsymbol{k}_{j}\right)$ . We say that a family of attention functions computes dynamic attention for $\mathbb{K}$ and $\mathbb{Q}$ , if its scoring function computes dynamic scoring, possibly followed by monotonic normalization such as softmax.
提高注意力系数的方法可以考虑衰减其他 key 的注意力权重，不一定得增加自身所关心的 key 注意力权重。
4.2 The limited expressivity of GAT
Theorem 1. A GAT layer computes only static attention, for any set of node representations $\mathbb{K}= \mathbb{Q}=\left\{\boldsymbol{h}_{1}, \ldots, \boldsymbol{h}_{n}\right\}$ . In particular, for $n>1$ , a GAT layer does not compute dynamic attention.
证明：
Theorem 1 的结果是，节点集 $\mathcal{V}$ 中存在一个 $s_{j}=\boldsymbol{a}_{2}^{\top} \boldsymbol{W} \boldsymbol{h}_{j}$ 使得 节点 $j$ 的全局排名最高，那么造成的结果就是 节点 $j$ 的局部领域 $\mathcal{N}_{i}$ 排名也最高。$\boldsymbol{h}_{i}$ 的唯一影响是在所产生的注意力分布的 “sharpness” 上。这在 Figure 1a（bottom）中得到了演示，其中不同的曲线表示不同的 query $\left(\boldsymbol{h}_{i}\right)$。
对于多头注意力机制，Theorem 1 同样适用于每个头。
4.3 Building dynamic graph attention networks
standard GAT 评分函数（$\text{Eq.2}$）的主要问题是学习到的 $\boldsymbol{W}$ 和 $\boldsymbol{a}$ 是连续应用的，因此可以分解成一个单一的线性层。为了解决这个限制，我们简单地在非线性之后应用一层(LeakyReLU)，在连接之后应用 $\boldsymbol{W}$，有效地应用一个MLP来计算每个查询键对的分数：
GAT ： $e\left(\boldsymbol{h}_{i}, \boldsymbol{h}_{j}\right)=\mathrm{LeakyReLU}\left(\boldsymbol{a}^{\top} \cdot\left[\boldsymbol{W} \boldsymbol{h}_{i} \| \boldsymbol{W} \boldsymbol{h}_{j}\right]\right)$
Complexity
时间复杂度
GAT：$\mathcal{O}\left(|\mathcal{V}| d d^{\prime}+|\mathcal{E}| d^{\prime}\right)$
参数复杂度
5 Evaluation
5.1 Synthetic benchmark:DICTIONARYLOOKUP
本节在条形码预测问题上验证 GAT v2 的有效性。
对比一下 GIN：
同样对于 条形码预测问题 ，其可视化结果如下：
The role of multi-head attention
提了一嘴，说多头注意力是稳定学习过程的一种方法，但是呢，你可以想想每对节点对有多个注意力系数是不是很难解释？反正有人吐槽过这一点。
下图也有说明了 多头注意力并不是在所有数据集上都有效。
5.2 Robustness to noise
我们研究了动态注意和静态对噪声的注意的鲁棒性。特别地，我们关注结构噪声：给定一个输入图 $\mathcal{G}=(\mathcal{V}, \mathcal{E})$ 和一个噪声比为 $0 \leq p \leq 1$，我们从 $\mathcal{V} \times \mathcal{V} \backslash \mathcal{E}$ 中随机抽取 $|\mathcal{E}| \times p$ 不存在的边 $\mathcal{E}^{\prime}$。然后，我们在有噪声的图 $\mathcal{G}^{\prime}=\left(\mathcal{V}, \mathcal{E} \cup \mathcal{E}^{\prime}\right)$ 上训练GNN。
5.3 Programs:Varmisuse
验证在 Varmisuse 的结果：
5.4 Node-prediction
5.5 Graph-prediction:QM9
5.6 link-prediction
5.7 Discussion
在所有被检查的基准测试中，我们发现 GATv2 比 GAT 更准确。此外，我们发现 GATv2 对噪声的鲁棒性明显高于 GAT。在条形码预测基准测试中，GAT 不能表达数据，因此甚至能达到较差的训练精度。
通常不可能预先确定哪种体系结构的性能最好。一个理论上较弱的模型在实践中可能表现得更好，因为如果任务 “easy-to-overfit” 且不需要这样的表达能力，那么一个更强的模型可能会过度拟合训练数据。直观地说，我们认为节点之间的相互作用越复杂，GNN从理论上更强的图注意机制中获得的好处就越大。主要的问题是问题是否有“有影响力 ”节点的全局排名(GAT就足够了)，或者不同的节点有不同的邻居排名(使用GATv2)。
GAT的作者在 Twitter 上证实，GAT 被设计用于当时的 “容易过拟合” 的数据集，如 Cora，Citeseer 和 Pubmed，在那里，数据可能有一个 “globally important” 节点的潜在静态排名。更新和更具挑战性的基准测试可能需要更强的注意机制，如GATv2。在本文中，我们回顾了传统的假设，并表明许多现代图基准和数据集包含更复杂的交互，因此需要动态的关注。
6 Conclusion
在本文中，我们发现流行和广泛使用的图注意网络不计算动态注意。相反，GAT的标准定义和实现中的注意机制只是静态的：对于任何查询，它的邻居评分对于每个节点的分数都是单调的。因此，GAT甚至不能表达简单的对齐问题。为了解决这一限制，我们引入了一个简单的修复并提出了GATv2：通过修改GAT中的操作顺序，GATv2实现了一个通用的近似注意函数，因此严格比GAT更强大。
我们在一个需要动态选择节点的综合问题中，展示了GATv2相对于GAT的经验优势，以及来自OGB和其他公共数据集的11个基准测试。我们的实验表明，在具有相同参数成本的情况下，GATv2在所有基准测试中都优于GAT。