知识图谱是一种精细化的异构网络, 所以对其节点与边的表示学习也是一个热门的问题. 这里的学习依旧是得到它们的低维稠密向量. 这样做的好处:

• 降低知识图谱的高维性和异构性；
• 增强知识图谱应用的灵活性；
• 减轻特征工程的工作量；
• 减少由于引入知识图谱带来的额外计算负担

网络学习有关的任务描述:

• link prediction
  在社交网络等网络中, 预测出可能存在但尚未建立起的链接.
• knowledge graph completion
  同link prediction类似, 但还要精确预测出关系的具体类型.

翻译模型简介

在翻译模型中, 将relation视为从head到tail的翻译问题, 即$head+relation \approx tail$,简写为 $h+r\approx t$,从而把entity和relation在同一个语义空间中进行embedding学习.

figure transE,transH,transR之间的比较

TransH模型尝试通过不同的形式表示不同关系中的实体结构，对于同一个实体而言，它在不同的关系下也扮演着不同的角色。模型首先通过关系向量lr与其正交的法向量wr选取某一个超平面F， 然后将头实体向量lh和尾实体向量lt法向量wr的方向投影到F, 最后计算损失函数。TransH使不同的实体在不同的关系下拥有了不同的表示形式，但由于实体向量被投影到了关系的语义空间中，故它们具有相同的维度。

transR

同一个实体有不同维度的语义，不同的关系所关注的实体的语义也不尽相同，因此认为将它们映射到同一个语义空间，在一定程度上就限制了模型的表达能力。

同为翻译模型, 但与前面的不同在于, transR 先将实体与关系在各自的语义空间中分开建立各自的embedding, 然后, 通过第一个投影实体学习从实体空间到关系空间的embedding.

首先得到$h,t$在实体空间中的向量$\mathbf h, \mathbf t$,再为每一种关系r准备一个投影映射矩阵$M_r$,得到$h_r=hM_r$, 那么评分函数就是

$$f_r(h,t)=||h_r+r-t_r||_2^2$$
当三元组< h,r,t>成立时分数应该尽可能的小.
实践中会对这些向量做强制正规化.

task

论文中的评估有以下三种任务.

link prediction

对测试集中的(h,r,t), 将 h 或 t 去掉, 使用$f_r()$对所有的entity评分, 取得分最低的作为预测结果.
评测时取得分最低的10个entity, 得到 Hits@10(%)作为指标..

triple binary classification

对于给定的(h,r,t), 通过$f_r()$与阈值$\delta_r$比较,判断给定三元组是否成立. 是一个典型的二分类问题.

relation extraction from text

从文本中提取 relational fact(关系事实) , 来扩充已有的知识图谱.

数据集

见参考[3].

参考

1. 论文, transR
2. github, Knowledge Graph Embeddings including TransE, TransH, TransR and PTransE,KB2E
3. 论文, transE