Adversarial Learning on Heterogeneous Information

简介

之前的异质网络嵌入方法具有如下三个限制：

它们通常使用负采样技术，随机选取现有节点作为负样本。这样的话，它们的负样本就不仅是任意的，也局限于原本网络的空间。
它们主要集中于捕捉异质网络上丰富的语义，但并没有捕捉节点的潜在分布，因为真实世界的异质网络往往稀疏并且有噪声，因此这些方法缺乏鲁棒性。
许多方法依赖于合适的元路径来匹配想要的语义，而这通常需要领域知识，而领域知识有时是很主观的并且获取不易。

作者提出了基于对抗的方法，希望学到语义留存和鲁棒的节点表示。为了实现作者的方法，需要解决两个挑战：

如何捕捉多种类型的节点和关系的语义？在现有方法中，仅使用拓扑结构来区分正负样本。因此，有必要设计新式的判别器和生成器，使得可以区分和建模涉及不同关系的真实的和虚假的语义丰富的节点对。
如何高效地生成虚假样本？在现有方法中，生成器从网络中的节点中学习一个有限离散分布。因此，这要求使用softmax函数，并最终求助于像负采样或graph softmax之类的近似技术。另外，现有方法本质上是根据学习到的分布从原始网络中选取一个节点作为负样本，而这并不能泛化到看不见的节点。也就是说，这些方法并不能产生最具有代表性的虚假节点。因此，设计一个能高效产生隐式的虚假样本的生成器很重要。

该论文的洞见和贡献如下：为了解决上面的挑战，该论文提出了HeGAN，一种用于异质网络嵌入的使用基于GAN对抗学习的新奇框架。具体来说，作者提出了新式的判别器和生成器，如Fig.1(b-1)所示。对于第一个挑战，为了区分由不同关系连接的节点，判别器和生成器被设计为关系察觉（relation-aware）的。也就是说，关于任意关系，判别器可以区分一个节点对是真实的还是虚假的，但生成器可以产生模拟真实样本对的虚假样本对。特别是，一个节点对被认为是真实的，仅当（i）基于拓扑结构它是正样本；（ii）该节点对处于正确的关系。对于第二个挑战，作者设计了一个泛化的生成器，其能够直接从连续分布中采样隐节点，这样，（i）不需要softmax计算；（ii）虚假样本不再被限制于现有节点。

论文中用到的主要记号见Table 1

Table 1

方法

HeGAN总体框架

首先现存的框架仅仅利用GAN，基于拓扑连接来区分一个节点是真实的还是虚假的，并没有考虑到异质网络中的异质性。因此，作者提出来关系感知（relation-aware）的判别器和生成器来区分节点间的不同类型的语义关系。

其次，现存的研究受限于不能高效的生成样本。它们通常在原始网络中所有节点上使用softmax来建模节点的分布。它们的虚假样本被约束在原始网络的节点中，但是最有代表性的虚假样本可能不在现有节点中。作者们提出的生成器则可以不使用softmax，而是直接采样虚假节点。

判别器和生成器

关系察觉的判别器

在异质网络上，有必要区分在给定关系下的真实和虚假节点。因此，论文提出的关系察觉的判别器$D(e_v|u,r;\theta^D)$评估关于关系$r$的节点对$u$和$v$之间的连接性。具体来说，$u \in \mathcal{V}$是给定的节点，$r \in \mathcal{R}$是给定的在异质网络$\mathcal{G}$中的关系，$e_v$是样本节点$v$的嵌入，节点$v$可以是真实的也可以是虚假的，$\theta^D$记为是判别器$D$的参数。判别器输出在关系$r$下样本$v$和$u$连接的概率，该概率表示如下:

$D(e_v|u,r;\theta^D) = \frac{1}{1+exp(-e_v^{D^T}M_r^De_u)}$

其中$e_v \in \mathbb{R}^{d\times1}$是样本$v$的输入嵌入，$e_u^D \in \mathbb{R}^{d \times 1}$是节点$u$可学习的嵌入，$M_r^D \in \mathbb{R}^{d \times d}$是对于关系$r$可学习的关系矩阵。$\theta^D=\{e_u^D:u \in \mathcal{V}, M_r^D : r \in \mathcal{R}\}$构成判别器$D$的参数。也就是所有节点的表示和关系矩阵都由$D$学得。

自然的，当$v$是在关系$r$下关于节点$u$的正样本时，该概率值应该很高，但$v$是负样本是，该概率值应该较低。通常来说，来自一个三元组$$的的样本$v$和给定的$u$和$r$属于下面三种情况之一。受启发于条件GAN，每一种情况都为判别器的贡献了一部分损失。

Case 1: Connected under given relation.节点$u$和$v$确实在异质网络$\mathcal{G}$上通过关系$r$连接。这样的三元组被视为是正样本，可以通过如下损失建模：

$\mathcal{L}_1^D = \mathbb{E}_{<u,v,r>\sim P_{\mathcal{G}}}-\log D(e_v^D|u,r).$

Case 2: Connected under incorrect relation.$u$和$v$在错误的关系$r’ \ne r$。我们期望判别器将这样的三元组视为是负样本，因为它们的连接性并不匹配由给定关系$r$所携带的语义。这部分的损失定义如下：

$\mathcal{L}_2^D = \mathbb{E}_{<u,>) \sim P_{\mathcal{G}, r' \sim P_{\mathcal{R}'}}}-\log (1-D(e_v^D|u,r'))$

这里依然从原始网络中采样节点对$(u, v)$，但负关系$r’$是从$\mathcal{R}’ = \mathcal{R} \backslash \{r\} $中均匀采样得到。

Case 3: Fake node from relation-aware generator.给定一个节点$u \in \mathcal{V}$，可以和生成器$G(u,r;\theta^G)$提供的节点$v$形成一个样本对。我们后面可以看到，生成器也是关系察觉的，它试图生成一个虚假样本的嵌入，该嵌入模仿在正确关系$r$下与$u$相连接的真实节点。判别器旨在将这样的三元组识别为负样本，形式化表示如下：

$\mathcal{L}_3^D = \mathbb{E}_{<u,r> \sim P_{\mathcal{G}}, e_v' \sim G(u,r;\theta^G)} - \log(1-D(e_v'|u,r))$

需要注意，虚假样本$v’$的嵌入$e_v’$是从生成器学习到的分布中采样得到的。判别器把该嵌入视为不可学习的参数。

作者整合以上三个损失和正则项来训练判别器：

$\mathcal{L}^D = \mathcal{L}_1^D+\mathcal{L}_2^D+\mathcal{L}_3^D +\lambda^D \parallel \theta^D \parallel_2^2$

关系察觉的、泛化的生成器

论文中生成器$G(\cdot;\theta^D)$的目标是生成和真实样本尽可能接近的虚假样本。一方面，该生成器和判别器一样是关系察觉的。因此，给定节点$u \in \mathcal{V}$和关系$r \in \mathcal{R}$，生成器$G(u,r;\theta^G)$旨在生成在关系$r$下和节点$u$尽可能连接的负样本。换句话说，节点$v$应该尽可能接近真实节点，比如说$w$。另一方面，该生成器是泛化的，也就是说虚假样本可以是不存在$\mathcal{V}$中的隐式节点。

为了满足这两点要求，该生成器同样使用了关系特定的矩阵，并且从一个潜在的连续分布中生成样本。具体来讲，论文使用如下的高斯分布：

$\mathcal{N}(e_u^GM_r^G,\sigma^2I)$

换句话说，这是一个均值为$e_u^{G^T}M_r^G$，方差为$\sigma^2I$的高斯分布。因为神经网络在建模复杂结构方面强大的能力，作者使用多层感知机来加强虚假样本的表示。因此，论文中生成器形式化定义如下：

$G(u,r;\theta^G) = f(W_L\cdot\cdot\cdot f(W_1e+b_1)+b_L)$

我们从分布，也就是公式(6)中采样得到$e$。生成器的参数集合为$\theta^G=\{e_u^G:u \in \mathcal{V}, M_r^G: r \in \mathcal{R}, W_, b_\}$。

生成器希望通过生成尽可能接近真是样本的虚假样本来欺骗判别器，使得判别器对虚假样本给予高分数。我们使用如下公式来训练生成器：

$\mathcal{L}^G = \mathbb{E}_{<u,r> \sim P_{G}, e_v' \sim G(u,r;\theta^G)} -\log D(e_v' | u, r)+ \lambda^G \parallel\theta^G\parallel_2^2$

优化

algorithm

结论

在本论文中，作者提出来一种被称为HeGAN的新奇框架，该框架基于对抗原则用于异质网络嵌入。作者精心设计了关系察觉的判别器和生成器来适应异质网络。具体的，关于一个给定的关系，判别器可以区分出来节点对是真实的还是虚假的，而生成器可以产生模仿真实样本对的虚假样本对。为了更好的改进采样生成的高效性，作者提出了泛化生成器，其可以直接从连续分布中采样隐节点。

思考

该论文是基于拓扑结构，如果再加项重建损失，就可以迁移到属性网络上。
现有的方法往往是知道不同类型的关系的。但如果节点之间的关系是不可知的，我们只知道有边无边，则以无监督的方式去建模节点之间的关系应该是未来的一个大方向。