糖果网站建设策划书,百度指数怎么算,给建设单位造成损失的,免费空间申请2018论文笔记整理#xff1a;谭亦鸣#xff0c;东南大学博士生。来源#xff1a;CIKM 2020链接#xff1a;https://arxiv.org/pdf/2008.07962.pdf研究背景与任务描述:实体对齐旨在基于已有对齐实体标注的情况下#xff0c;确定不同KG中未知的对等实体#xff0c;其本质是mult… 论文笔记整理谭亦鸣东南大学博士生。来源CIKM 2020链接https://arxiv.org/pdf/2008.07962.pdf研究背景与任务描述:实体对齐旨在基于已有对齐实体标注的情况下确定不同KG中未知的对等实体其本质是multi-source KGs的一体化.随着GNN在对齐工作的引入现有模型的方法愈加复杂。作者在相关的研究中发现了两个不寻常的情况Q1. GNN中的标准线性转换效果并不好Q2. 许多面向预测任务的新KG embedding方法在对齐任务上的效果较差。本文将现有的实体对齐方法抽象为统一的框架Shape-Builder Alignment该框架不仅解释了上述情况的原因并且给出了对于理想转换操作的两个关键标准。作者基于此构建了一个新的GNN-based method “Relation Reflection Entity Alignment, RREA”该方法的主要思路是利用relation reflection transformation更有效率的获取到每个实体的relation specific embedding。真实数据上的实验表明该方法是SOAT目前的Entity Alignment方法主要分为两类基于翻译Translation-based受跨语言word embedding任务的启发这类方法假定不同的KG的embedding空间包含相似的分布因此KGs之间的对齐实体在各自的向量空间中具有相似的位置特性。这类方法首先使用Trans-based KG embedding方法对各KG做单独的表示学习得到各自的entity和relation向量表示而后使用已知的标注的实体对齐将其投影到统一的向量空间中。基于GNNGNNs-based不同于上述方法relation作为实体之间的转换GNNs通过邻居节点的集合聚集信息生成节点级别的embedding。 对于上述两个问题的分析和猜想Q1. GNN最初是使用标准线性变换矩阵设计的但是许多GNN-based将其约束为单位或者对角线。过去的方法都将其视为参数规约但是并未就此做出解释和讨论。作者尝试在GCN-Align中删去这个设置时模型性能在Hits1上下降了10%因此认为其中存在某些更加本质的问题Q2.许多任务中比如链接预测都需要KG模型许多新的KG embeddings方法被提出并在这些任务上取得了不错的效果。但是在链接预测之类任务上效果出众的模型却没有在对齐任务上展现出显著的优势过去的工作中仅给出了“并不是所有对于链接预测有效的模型都适用于实体对齐”但并未给出进一步的分析。为了进一步分析两者的原因作者提出了一个抽象实体对齐框架名为“Shape-Builder Alignment”。在这个框架中Trans-based与GNN-based方法均被视为各自设置下的特例。通过这个框架作者成功找到了上述问题的答案A1. 实体对齐假定了两个KG分布具有相似性所以为了避免结构性的破坏在转换之后实体的norms以及相对距离等信息应该保持不变因此转换矩阵被强制为正交矩阵。A2. 许多新的KG embedding方法都遵循了一个关键的idea-“将实体的embeddings转换为relation specific的版本”。然而他们的转换矩阵并不能服从正交属性这就是实体对齐中这些方法效果不佳的原因。因此作者提出两个实体对齐上理想转换操作的标准1. Relation Differentiation2. Dimensional Isometry基于这两个标准作者提出一种新的转换操作 “Relation Reflection Transformation”该操作能够沿不同关系的超平面反映entity embeddings从而用于构建relation specific entity embeddings. 这种反映矩阵reflection matrix是正交的因此能够保证转换过程中的实体及其相对距离的不变性。作者将该转换添加到GNN模型中得到新的实体对齐方法RREArelation reflection entity alignmentShape-Builder Alignment下图是作者提出的统一对齐框架的过程示意图Shape-Builder的主要函数是将随机初始化分布约束到一个特定的分布上称之为shape 图2中的转换模型本质上就是shape-builder。这里的前置条件是“两个KG中获得的embeddings应当具有shape similarity”即对等实体在向量空间中应该具有相似的相对位置。Alignment 当shape similarity获得后不同的shape可以通过标注的对齐实体所匹配。在图2中映射就是对齐模型中所训练的转换矩阵W, 这个矩阵使得已标注数据差异尽可能小通过以下公式其中ei与ej是一对已知对齐h表示对应实体的向量为了保留转换中的不变性W被约束为一个正交矩阵。GNN-based方法在Shape-Builder Alignment框架下的适用性分析基于GNN的实体对齐方法一般包括以下过程N表示实体e周围的邻W则是l层的转换矩阵公式2用于将实体邻居的信息聚合而公式3用于将实体的embedding转换为一个更佳的版本。有许多的操作可以实现聚合的目的例如normalized mean pooling或者attentional weighted summation。在得到embedding之后GNN方法一般会构建如下损失使得对等实体更加接近对方其中带有” ’ ”的为负例样本随机替换正例样本中的实体得到。在AliNet中也有类似的损失函数可以看到这类损失均可以拆分为两个部分1.对齐损失正例-框架中的alignment部分2.分离损失负例-框架中的shape-builder为了进一步证明可用性作者进行了可视化实验在GNN-based方法作为shape-builder得到的分布中使用AliNet效果还是很清晰的。为了衡量转换后向量分布的结构相似性作者构建了一种相似性度量方法(带波浪线的实体来自某一KG不带的来自另一KG带有“ ’ ”的则为随机负例)实验数据实验使用的语料是DWY100K及DBP15K统计信息如下实验结果表3主要对比的是初始化时使用/不使用正交矩阵约束的情况下模型的效果。表4则是在不同GNN方法上的消融实验结果。表5对比了该框架下不同KG embedding方法的效果差异性。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
