AD-GCL

Adversarial Graph Augmentation to Improve Graph Contrastive Learning

1. motivation: 现实世界中的大部分图数据的标签缺失严重，然而现存的图对比学习容易捕获到图中的冗余特征信息从而鲁棒性弱，而信息瓶颈IB虽然可以解决该问题，但是它需要事先知道可以无法获得的下游任务，因此，在下游任务的知识不可知的前提下，作者采用了对抗性图增强手段来避免训练时捕获冗余信息，

2. 主要增强方法: 作者采用了可学习的增强手段，而不是固定的增强策略：

   • 可学习的增强：对于原始图，输入到一个 task-agnostic 的 GNN 增强器得到节点表征，转换为边表征后输入到一个 MLP 中 得到 Bernoulli 参数，用其来采样图的边（edge removing），之后最小化增强图与原图的信息，实现去除冗余信息的效果

   • 对比学习：常规的对比学习，输入到两个encoder之后输入到两个projection head得到最终表征，之后最大化他们的互信息

   • loss：前者是对比学习的最大化最终表征互信息；后者是最小化原图与增强图的信息

     \[ \min _{\Phi} \max _{\Theta} I\left(f_{\Theta}(G) ; f_{\Theta}(t(G))\right)+\lambda_{\text {reg }} \mathbb{E}_{G}\left[\sum_{e \in E} \omega_{e} /|E|\right], \text { where } G \sim \mathbb{P}_{\mathcal{G}}, t(G) \sim T_{\Phi}(G)\]

3. 方法评价: 首先其增强手段是可学习的，具有adaptive的性质；另外总体方法效率高，不复杂