Skip to content

JOAO

Graph Contrastive Learning Automated

  1. motivation: 目前图对比学习方法中的数据增强阶段由于图数据的多样性，需要不断试错才能找到合适的特定的增强手段，严重限制了应用，因此作者希望可以有自适应的、自动的、动态的选择数据增强手段的方法

  2. 主要增强方法: 总体上与 GraphCL 框架一致，包含点丢弃、边扰动、属性遮盖、子图采样等数据增强方法；只是作者设计为了可以自动选择增强手段；作者首先设定增强手段的选择池：

    \[ \mathcal{A} = \{\text{NodeDrop}, \text{Subgraph}, \text{EdgePert}, \text{AttrMask}, \text{Identical}\} \]

  3. JOAO：优化目标：作者采用 min-max 优化，其中 \(\mathbb{P}_{\text{prior}}\) 是所有可能的增强手段的先验分布，作者采用了均匀分布，以促进选择的多样性，鼓励更多不同的增强选择，而不是压缩到少数

    \[ \begin{array}{l} \min _{\theta} \quad \mathcal{L}\left(\mathrm{G}, \mathrm{A}_{1}, \mathrm{~A}_{2}, \theta\right) \\ \text { s.t. } \quad \mathbb{P}_{\left(\mathrm{A}_{1}, \mathrm{~A}_{2}\right)} \in \arg \max _{\mathbb{P}_{\left(\mathrm{A}_{1}^{\prime}, \mathrm{A}_{2}^{\prime}\right)}}\left\{\mathcal{L}\left(\mathrm{G}, \mathrm{A}_{1}^{\prime}, \mathrm{A}_{2}^{\prime}, \theta\right) -\frac{\gamma}{2} \operatorname{dist}\left(\mathbb{P}_{\left(\mathrm{A}_{1}^{\prime}, \mathrm{A}_{2}^{\prime}\right)}, \mathbb{P}_{\text {prior }}\right)\right\} \\ \end{array} \]

    为了优化这一目标，作者采用交替梯度下降算法(AGD)，在上级最小化和下级最大化之间交替计算

  4. JOAOv2：为了解决由不同的增强对引起的扭曲特征分布导致的歪曲原始分布的问题，作者在JOAO的基础上加入了 \(|\mathcal{A}|\) 个投影头，在训练过程中，一旦一个增强被采样，它只会通过并更新其相应的投影头 JOAO

    \[ \begin{array}{l} \min _{\theta} \quad \mathcal{L}\left(\mathrm{G}, \mathrm{A}_{1}, \mathrm{~A}_{2}, \theta, \Theta^{\prime\prime}_1, \Theta^{\prime\prime}_2\right) \\ \text { s.t. } \quad \mathbb{P}_{\left(\mathrm{A}_{1}, \mathrm{A}_{2}\right)} \in \arg \max _{\mathbb{P}_{\left(\mathrm{A}_{1}^{\prime}, \mathrm{A}_{2}^{\prime}\right)}}\left\{\mathcal{L}\left(\mathrm{G}, \mathrm{A}_{1}^{\prime}, \mathrm{A}_{2}^{\prime}, \theta, \Theta^{\prime\prime}_1, \Theta^{\prime\prime}_2\right) -\frac{\gamma}{2} \operatorname{dist}\left(\mathbb{P}_{\left(\mathrm{A}_{1}^{\prime}, \mathrm{A}_{2}^{\prime}\right)}, \mathbb{P}_{\text {prior }}\right)\right\} \\ \mathbb{P}_{g_{\Theta^{\prime\prime}_1}, g_{\Theta^{\prime\prime}_2}} = \mathbb{P}_{\left(\mathrm{A}_{1}, \mathrm{A}_{2}\right)} \end{array} \]

  5. 方法评价: 在对图数据进行对比学习时自动进行增强选择的方法，从而免于试验和错误，经验性的特别规则，或任何基于标记数据的验证，实现了自适应的、自动的、动态的选择增强手段；但是作者为了减小计算复杂度，在优化目标时采用的AGD算法，只是一种近似启发式算法，而没有找到一种更好的且计算复杂度小的优化算法来选择增强手段