Skip to content

MH-Aug

Metropolis-Hastings Data Augmentation for Graph Neural Networks

  1. motivation: GNN 由于图数据的标签的稀疏性导致泛化性不好，因此需要数据增强手段来提升数据的多样性，但是由于图数据的非欧性质，我们难以设计有效的且保留标签信息的图数据增强架构；现有的图数据增强方法大多需要额外一个模型且不能保证数据增强的强度和多样性，因此作者提出了 MH-Aug 根据强度和多样性方面所需的分布生成增强样本

  2. 主要数据增强方法: 基于 Metropolis-Hastings 算法（马尔科夫链蒙特卡洛采样）来从目标分布 \(P\) 中采样出一个增强图 MH-Aug

  3. 先从一个 proposal distribution 中得到一个候选图 \(\mathcal{G}^{\prime}\) : 首先从高斯分布中得到 edge removing(边移除) 和 node dropping(点去除) 的去除率，然后施加到 \(\mathcal{G}^{(t)}\) 上得到 \(\mathcal{G}_{\mathcal{E}},\mathcal{G}_{\mathcal{V}}\) 之后合并两个增强图得到 \(\mathcal{G}^{\prime}\)

  4. 通过一个 accepting ratio \(\mathcal{A}\) (MH 算法决定)来决定是否接受该增强图，如果接受，则迭代为 \(\mathcal{G}^{(t + 1)}\)

  5. loss: \(\mathcal{L}_u\) 是为了一致性，即控制增强前后的图输入模型 \(f\) 的结果变化；\(\mathcal{L}_h\) 是一个惩罚项，鼓励模型自信预测；\(\mathcal{L}_s\) 就是一般的监督样本的交叉熵损失

    \[ \begin{align} \mathcal{L}_{u} &= \frac{1}{|\mathcal{V}|} \sum_{i}^{|\mathcal{V}|} D_{K L}\left[f\left(\mathcal{G}_{i}^{(t)} ; \theta\right) \| f\left(\mathcal{G}_{i}^{(t+1)} ; \theta\right)\right] \\ \mathcal{L}_{h} &= \frac{1}{|\mathcal{V}|} \sum_{i}^{|\mathcal{V}|}\left[-f\left(\mathcal{G}_{i} ; \theta\right) \log \left(f\left(\mathcal{G}_{i} ; \theta\right)\right)\right] \\ \mathcal{L} &= \mathcal{L}_s + \gamma_1\mathcal{L}_u + \gamma_2\mathcal{L}_h \end{align} \]

  6. 方法评价: 第一次将 Metropolis-Hastings 算法用于对输入图的变体进行采样，其强度和多样性可以通过超参数来控制（strength， diversity），但是分布构造相对复杂。