Skip to content

DGI

Deep Graph Infomax

  1. motivation: 无监督学习大部分采用随机游走，过分强调邻居信息而忽视了结构信息，且这种基于随机游走的模型很依赖于超参数的选取；因此作者将随机游走策略替换为了互信息（mutual information），将互信息最大化应用到图无监督学习当中，最大化全局和局部的互信息

  2. 主要增强方法: 随机的属性行洗乱 DGI

    • 数据增强：通过一个 corruption function来采样一个负例样本，作者是采用打乱特征的行实现负例样本，即 \(\tilde{A} = A, \tilde{X}\) 经过随机的行洗乱（feature shuffling）

    • 将输入图输入到encoder，得到正例的embedding

    • 将负例样本输入到同一个encoder，得到负例的embedding

    • 将正例embedding输入到readout得到图的概述表达 \(\mathcal{s}\)

    • 通过以下loss更新模型参数

    • loss，其中\(\mathcal{D}\) s是一个判别器，用于对样本对衡量互信息，使得互信息最大化

      \[ \mathcal{L}=\frac{1}{N+M}\left(\underbrace{\sum_{i=1}^{N} \mathbb{E}_{(\mathbf{X}, \mathbf{A})}\left[\log \mathcal{D}\left(\vec{h}_{i}, \vec{s}\right)\right]}_{\text{positive pair}}+\underbrace{\sum_{j=1}^{M} \mathbb{E}_{(\widetilde{\mathbf{X}}, \widetilde{\mathbf{A}})}\left[\log \left(1-\mathcal{D}\left(\overrightarrow{\widetilde{h}}_{j}, \vec{s}\right)\right)\right]}_{\text{negative pair} }\right) \]

  3. 方法评价: 将互信息应用到图领域，使得模型能够更好地学习到图的结构信息；但是获取全局嵌入信息需要单射函数，限制较大；且feature shuffling的数据增强方式对于特征稀疏的图数据破坏较小，生成的负样本可能不具有代表性