商业网站建设案例课程百度云,连云港网站备案在哪,外国人在中国做视频网站,评价一个网站的好坏来源#xff1a;ACL2020链接#xff1a;https://arxiv.org/pdf/2005.00856.pdf摘要知识图谱的嵌入愈发变成AI的热点之一#xff0c;对许多下游任务至关重要#xff08;如个性化推荐、问答等#xff09;同时#xff0c;此模型强调两个关键特性#xff1a;利用足够多的特征… 来源ACL2020链接https://arxiv.org/pdf/2005.00856.pdf摘要知识图谱的嵌入愈发变成AI的热点之一对许多下游任务至关重要如个性化推荐、问答等同时此模型强调两个关键特性利用足够多的特征进行交叉计算分块同时在计算时区别对称关系、非对称关系特征本文的贡献有两个1.提出了轻量级框架SEEK同时满足模型低复杂性、高表达力2.提出了新的打分函数同时完成特征整合、关系留存1 引言知识图谱 knowledge graph (KG)含有大量的实体和关系表示为三元组(h, r, t)即(头实体 , 关系, 尾实体)知识图谱嵌入(KGE)是为了把大量相关的三元组映射到低维空间保留潜在的语义信息现有的KGE模型存在的问题不能很好地平衡模型复杂性模型参数的数量和模型表达力获取语义信息的能力如下分为两类1模型简单、表达有限如TransE、DistMult 简单易用获取语义信息的能力欠佳2模型复杂、表达力强如TransH、TransR、Single DistMult、ConvE、InteractE 模型复杂需要大量向量计算扩展性差本文的轻量级KGE框架SEEK有如下特性特征有交互、保留关系特性、高效的打分函数、特征交互把嵌入空间分为多块让各块之间有关联而不用增加模型参数关系特性同时保留对称的、非对称的关系对称关系双向关系非对称关系单向关系打分函数结合上述两种特征计算得分来自于3个模型的打分函数DistMult、HoIE、ComplEx2 SEEK的框架各种打分函数是KGE(knowledge graph embedding )的基础基于此我们建立了SEEK本文提出的SEEK模型的参数和TransE、DistMult一样少却能更好地表达图谱。2.1 得分函数的DesignSEEK在得分函数的设计中迭代了四个版本逐一看下。f1: Multi-linear Dot Product下图是公式具体是计算头实体h尾实体 t关系 r 之间的点乘。这个是以下公式的基础。 f2: Multi-linear Dot Product Among Segments将嵌入维度划分为多段考虑段与段之间的信息交互。其中 k 是段的个数d是维度x 代表关系向量 r 切分后的第 x 段y 代表头实体向量 h 切分后的第 y 段w 代表尾实体向量 t 切分后的第 w 段。例如我们可以将关系向量嵌入表示为 f3: Modeling both Symmetric and Antisymmetric Relations我们需要考虑关系的对称性和反对称性。对于f2模型来说当给一个具有对称性的关系 r 和一个三元组 (h, r, t)存在f2(h, r, t) f2(t, r, h)但是对于给定一个反对称关系 r 仍然存在f2(h, r, t) f2(t, r, h)这就是不对的因为此时的 f2(t, r, h)是一个错的三元组。为了考虑关系的对称性和反对称性将关系向量 r的切割分为奇数和偶数两部分并引入变量 Sx,y偶数部分能够捕捉对称性并且奇数部分能够捕捉反对称性。 其中Sx,y控制了关系向量的切割点为奇数与偶数时三元组的正负关系。下面是分成 2 段的一个例子 f4: Reducing Computing Overheads优化计算复杂度。f3 算法的时间复杂度是O(n2)级别的还是较高f4优化了其复杂度降至O(n2)。对尾实体 t 引入变量Wx,y具体的计算公式如下也是分为奇数偶数部分 k 为分割段数Sx,y计算和f3一样。 其中由于Wx,y的计算只与x和y存在关系因此时间复杂度降为了O(n2),下面是分成 4 段的一个例子r 的下标为偶数的情况下考虑了对称性Sx,y计算和f3一样都是正()偶数的情况下 t 也没有变化。r 的下标为奇数的情况下考虑了反对称性Sxy 计算和 f3 一样x y 大于等于 4 的时候为负其余为正t 的计算是 (x y) % k 取余替换尾实体段之间的特征交互随着k的增大而增多。 2.2 模型训练损失函数为-log函数L2正则化激活函数sigmoid Θ向量嵌入时的参数 Ω图谱中本来的三元组、生成的负样本三元组梯度的计算公式 L目标函数Θ参数对f4求导时3 实验效果验证效果采用的数据集是 FB15KDB100K 和 YAGO37FB15K 是 Freebase 的子集DB100K来自DBpediaYAGO37 来自 YAGO3具体数据如下 采用的评测任务是链接预测在三个数据集上面的效果如下图其中k和d 的设置在三个数据集上面都不一致是采用网格搜索找到的最优超参数。评测指标MRR所有正确实例排名的倒数的平均值HitsN正确实例的排名中不大于 N 的比例。4 总结本文提出一个轻量级框架SEEK利用打分函数在不增加模型参数的情况下提高了模型对知识图谱的嵌入表示效果。主要原理是1.分块并利用不同块之间的特征交叉计算 2.区分并保留多种关系 。同时SEEK是一个普适性更强的模型DistMult, ComplEx, HolE可作为SEEK的特例。本文从效率、效果、鲁棒性方面阐述了SEEK的性能。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 网站。
