Skip to content

MVGRL

Contrastive Multi-View Representation Learning on Graphs

  1. motivation: 目前通过最大化互信息的图对比学习方法有很多，但是他们都需要特定的一个encoder来学习到节点表征，因此作者想通过多种数据增强手段组合（即multi-view）产生图的不同view，之后输入到encoder中最大化互信息，而不需要特定的encoder架构

  2. 主要增强方法: 先进行图的扩散（diffuse），然后进行子图采样或者增删边或者diffusion MVGRL

    • 增强：先对输入图进行diffuse，然后对原图和diffuse后的图进行对应点（连带点的边）的子采样；作者选择采用拓扑级的数据增强，即增删边，子采样或者diffusion的手段；没有采用特征级别的增强是因为作者觉得大部分基准测试集没有初始节点表征且在实验过程中发现性能下降；对于diffusion，作者测试了邻接矩阵，PPR，热扩散以及成对距离，最后adj-ppr效果最好

    • 输入到各自的encoder（GNNs）之后接一个共享的MLP作为投影头学习到各自的节点表征

    • 通过池化层读出，再接入一个共享的MLP学习到各自的图表征

    • 通过一个判别器（discriminator），将一个view的节点表征和另外一个view的图表征进行对比，对两者的一致性进行评估

    • 优化目标：相互最大化一个view的节点表征和另外一个view的图表征

      \[ \max _{\theta, \omega, \phi, \psi} \frac{1}{|\mathcal{G}|} \sum_{g \in \mathcal{G}}\left[\frac{1}{|g|} \sum_{i=1}^{|g|}\left[\operatorname{MI}\left(\vec{h}_{i}^{\alpha}, \vec{h}_{g}^{\beta}\right)+\mathrm{MI}\left(\vec{h}_{i}^{\beta}, \vec{h}_{g}^{\alpha}\right)\right]\right] \]

  3. 方法评价: 作者系统分析了不同的数据增强手段对于对比学习性能的影响，发现特征级别（feature masking，feature shuffling以及添加噪声）效果不好；增加 graph view 数量表现不会变好；