GraphCL¶
-
motivation
-
GNNs 自监督预训练的研究十分缺乏：GNN 缺乏自监督的预训练研究，尤其考虑到图数据集通常规模有限，而GNN结构较浅。尤其在真实世界中的大规模图数据上。因此作者希望设计一个好的自监督预训练方案为GNNs 深层模型提供更好的初始化，处理梯度消失、爆炸
-
传统的 GNN 预训练方法过于强调邻居节点的信息，可能损害了结构信息。因此，作者希望设计一个预训练框架来捕获图结构数据中的高度异构信息，以提高通用性、可迁移性和鲁棒性的图表示。
-
GNNs 的泛化性问题：图数据具有多种性质，包括化学分子结构、社交网络等，每种类型的图数据都包含不同的语义信息。作者希望设计一种通用泛化的 GNN 预训练方案适应不同类型的下游任务
-
-
主要增强方法：作者提出了总体框架，包含点丢弃、边扰动、属性遮盖、子图采样，并分析了不同数据增强手段的适用场景和影响
-
作者提出了四种图数据增强的方法，对输入的图通过以下增强手段得到一对增强图
-
node dropping：随即丢弃一些点（以及连接的边）
-
edge perturbation：随机增删图中的边
-
attribute masking：掩盖部分节点的属性
-
subgraph：利用随机游走采样子图
-
-
GNN-based encoder：先聚合邻居信息，后通过MLP构成的投影头读出，注意可以是任意 GNN 架构搭建encoder
\[ \begin{align*} \boldsymbol{a}_{n}^{(k)} &= \operatorname{AGGREGATION}^{(k)}\left(\left\{\boldsymbol{h}_{n^{\prime}}^{(k-1)}: n^{\prime} \in \mathcal{N}(n)\right\}\right) \\ \boldsymbol{h}_{n}^{(k)} &= \operatorname{COMBINE}^{(k)}\left(\boldsymbol{h}_{n}^{(k-1)}, \boldsymbol{a}_{n}^{(k)}\right) \\ f(\mathcal{G}) &= \operatorname{READOUT}\left(\left\{\boldsymbol{h}_{n}^{(k)}: v_{n} \in \mathcal{V}, k \in K\right\}\right), \boldsymbol{z}_{\mathcal{G}}=\operatorname{MLP}(f(\mathcal{G})) \end{align*} \] -
Contrastive loss function: 使得与负样本对相比正样本对之间的一致性最大化（即同个图增强出来的的表示得相互靠近，不同的图增强得到的表示相互远离）
\[ \ell_{n}=-\log \frac{\exp \left(\operatorname{sim}\left(\boldsymbol{z}_{n, i}, \boldsymbol{z}_{n, j}\right) / \tau\right)}{\sum_{n^{\prime}=1, n^{\prime} \neq n}^{N} \exp \left(\operatorname{sim}\left(\boldsymbol{z}_{n, i}, \boldsymbol{z}_{n^{\prime}, j}\right) / \tau\right)} \] -
为了将图对比学习变成一个通用的框架，重写loss的形式，本质上目标就是使得两种增强图的潜在表示之间互信息最大化 \(\ell = \mathbb{E}_{\mathbb{P}_{\hat{\mathcal{G}_i}}}\{-\mathbb{E}_{\mathbb{P}_{(\hat{\mathcal{G}_j}|\hat{\mathcal{G}_i})}}T(f_1(\hat{\mathcal{G}_i}),f_2(\hat{\mathcal{G}_j})) + \log(\mathbb{E}_{\mathbb{P}_{\hat{\mathcal{G}_j}}}e^{T(f_1(\hat{\mathcal{G}_i}),f_2(\hat{\mathcal{G}_j}))})\}\)
-
-
方法评价：通过数据增强和对比学习的方法使得模型更具鲁棒性和泛化性，且分析了不同数据增强手段的适用场景和影响，有很好的数据增强指导意义。且得到以下结论：
-
边扰动类型的数据增强手段适合社交网络，但是对于生物分子这种边敏感的数据集效果不好
-
属性掩盖对于稠密图效果好
-
node dropping和subgraph采样的方法适用性广，容易忽略掉边缘，孤立节点，使得增强后子图与全局图属性接近一致
-