Skip to content

GRACE

Deep Graph Contrastive Representation Learning

  1. motivation: 目前的图对比学习方法（如DGI）通过最大化节点嵌入和图嵌入的互信息来实现，但是存在获取全局图嵌入信息的方式限制多，节点嵌入不能高效提取有用信息，以及特征稀疏时生成的负样本不够显著导致表现不好等问题，因此作者设计了简单有效的对比学习框架，注重于节点间的对比而不是节点和全局图的对比

  2. 主要增强方法: 随机去边及掩盖特征 GRACE

    • 随机使用上面两种增强手段得到两个views，输入到一个GNN encoder里得到节点表征，之后通过loss拉近正样本，拉远与其他负样本，更新encoder参数

    • loss

      \[ \ell\left(\boldsymbol{u}_{i}, \boldsymbol{v}_{i}\right)=\log \frac{e^{\theta\left(\boldsymbol{u}_{i}, \boldsymbol{v}_{i}\right) / \tau}}{\underbrace{e^{\theta\left(\boldsymbol{u}_{i}, \boldsymbol{v}_{i}\right) / \tau}}_{\text {the positive pair }}+\underbrace{ \sum_{k=1}^{N} \mathbb{1}_{[k \neq i]} e^{\theta\left(\boldsymbol{u}_{i}, \boldsymbol{v}_{k}\right) / \tau}}_{\text{inter-view negative pairs} }+\underbrace{ \sum_{k=1}^{N} \mathbb{1}_{[k \neq i]} e^{\theta\left(\boldsymbol{u}_{i}, \boldsymbol{u}_{k}\right) / \tau}}_{\text{intra-view negative pairs}}} \]

    • 总体loss

      \[ \mathcal{J} = \frac{1}{2N}\sum_{i = 1}^N[\ell(ui, vi) + \ell(vi, ui)] \]

  3. 方法评价: 注重于节点之间的表征对比，相较于以往的图对比学习框架更加简单高效；到那时如果数据本身偏差歧视bias问题严重的话GRACE无法避免；在实际应用中，可以插入到推荐系统中，解决冷启动问题；蛋白质预测模型；