论文作者：来自浙江大学的同学
论文链接：
来源：arxiv2019

摘要

异构信息网络(HIN)嵌入由于能够有效地处理复杂的异构数据而引起了人们的广泛关注。元路径是连接具有不同语义的不同对象类型的路径，广泛应用于现有的HIN嵌入工作中。然而，到目前为止，有几个挑战还没有得到解决。首先，不同的元路径具有不同的语义含义，而现有的研究假设所有节点的元路径权重相同，忽略了不同元路径下不同节点的个性化偏好。第二，给定一个元路径，HIN中的节点是通过路径实例连接的，而现有的工作未能充分探索反映节点在这些语义空间偏好的路径实例之间的差异。为了应对上述挑战，我们提出了一种基于层次感知的异构信息网络嵌入(HAHE)模型，以获取每个语义空间中元路径和路径实例的个性化偏好。由于路径实例基于特定的元路径，因此可以自然地利用分层注意机制对元路径和路径实例的个性化偏好进行建模。在几个真实数据集上的大量实验表明，我们提出的HAHE模型在各种数据挖掘任务中显著优于最先进的方法。

1引言

异构信息网络(HIN)是节点或链接共享不同类型的网络，包括书目网络、社会网络和知识库等许多现实世界的网络都可以建模为异构信息网络。同时，网络嵌入是一种高效的表示和管理大规模网络的方法，它将拓扑结构映射到低维向量空间中，从而可以很好地保留网络的原始邻近性。Te嵌入结果已被证明是非常有用的特征输入，用于各种图分析任务，包括聚类、分类和预测[8,28,32]。为了将HIN的优势与网络嵌入相结合，近年来HIN嵌入受到了学术界和工业界的广泛关注。
与同质网络相比，HINs的异质性带来了更多节点间的相似性信息，便于网络嵌入保存。其中，元路径(meta path)是连接不同类型节点的关系序列，被广泛用于HINs中提取结构特征和获取节点之间的关联语义。虽然现有的HIN嵌入方法[5,17,32]已经利用元路径来学习节点之间的全面接近度，但一些挑战目前还没有得到解决。
首先，现有HIN嵌入方法要么不区分元路径，要么对所有节点的元路径权重相同。元路径上节点的个性化偏好无法获取，所要保留的邻近性不够完整。以嵌入好友推荐的异构社交网络为例，有些用户倾向于与标签相似的人交朋友(元路径user-tag-user)，有些用户倾向于与地理位置相近的人交朋友(元路径user-location-user)。只建模全局偏好会错过这种个性化，并导致不准确的嵌入。虽然对元路径的个性化偏好建模可以帮助更好地学习节点的表示，但手工提供明确的指导来确定每个节点的元路径的重要性会给用户带来很大的负担。有必要在元路径上高效和有效地建模个人偏好。
其次，给定一个元路径，HINs中的节点通过路径实例连接。现有的方法大多通过计算路径实例的数量来衡量相似度，而忽略了路径实例之间的差异。仍然以好友推荐的异构社交网络嵌入为例，给定一个元路径，即user-tag-user，一个用户可以通过路径实例连接到其他用户。然而，连接他们的标签可能是粗糙或邪教，连接用户可能有许多或几个标签。所有上述情况将导致元路径实例之间的差异。区分这些路径实例可以突出最相关的路径实例，忽略有噪声的路径实例，从而获得更好的嵌入结果。然而，现有的方法无法在路径实例上捕获这种个性化的首选项。
为了解决上述问题，本文提出了一种分层注意异构信息网络嵌入(HAHE)模型，在对元路径和路径实例进行个性化偏好建模的同时有效学习HIN嵌入。为了满足路径实例基于元路径的特点，通常采用分层的注意机制，包括元路径注意层和路径实例注意层。元路径注意层学习每个节点对元路径的个性化偏好，路径实例注意层决定路径实例相对于元路径的重要性。
特别地，在HIN嵌入中使用这种注意的主要优点可以总结如下:i)注意允许HAHE模型对HIN的噪声部分(包括元路径和路径实例)具有鲁棒性，从而提高信噪比[13];ii)注意允许HAHE模型给HINs中的每个节点分配一个相关性评分，以突出显示与任务相关的信息最多的节点，这也为我们提供了一种使模型更易于解释的方法。我们将在实验中进一步讨论

本文的主要贡献如下:

• (1)提出了一种分层注意异构信息网络嵌入(HAHE)模型来学习HIN嵌入，该模型捕获了元路径和路径实例上的个性化偏好。
• (2)在元路径和路径实例上，我们精心设计了一个分层次的注意机制来学习注意系数，证明学习后的注意系数能够反映元路径的性能。
• (3)我们在真实数据集上进行了几个数据挖掘任务的实验，以展示我们的模型相对于现有几种方法的优势，并对学习到的注意系数进行了全面的分析，以获得更多的数据集的见解

4 模型

在本节中，我们详细描述了我们提出的分层注意异构信息网络嵌入(HAHE)模型。HAHE的Te架构如图1所示，我们将从底层路径实例注意层引入到顶层元路径注意层。

4.1 路径实例注意力层

4.2 元路径注意力层

---

总结
与HAN的区别：
HAN是采用节点级注意力和语义级注意力机制。其中节点级注意力主要学习节点在相同元路径下邻居节点间的权重，幵通过加权求和来获取节点嵌入。注：这里不区分路径实例，即同一元路径下的所有路径实例的邻居节点都会参与计算。不同的元路径代表不同的语义信息，而语义级注意力就是要计算不同元路径对当前节点的权重，然后通过注意力机制进行融合不同元路径的语义信息。
本文所提的HAHE也是采用的分层注意力机制，路径实例注意力层和元路径注意力层。其中路径实例注意力层旨在学习不同路径实例对当前节点的重要程度，然后聚合通过路径实例与当前节点相链接的节点信息，得到基于这条元路径的节点嵌入，它不仅包含当前节点自身的特征，还加权聚合了通过路径实例与该节点相连的其他节点们的特征。而元路径注意力层是为了捕获每个节点在meta-paths上的个性偏好信息。