silverlight 做的网站,网页设计与制作教程psd格式,虚拟主机如何做多个网站,苏州做网版的公司来源: IJCAI2018链接: https://www.ijcai.org/proceedings/2018/0556.pdf动机近年来#xff0c;随着多语言知识图谱嵌入(Multilingual KG embedding)的研究#xff0c;实体的潜在语义表示以及跨语言知识推理等任务均取得一定成效#xff0c;因此也推动了许多知识驱动的跨语言… 来源: IJCAI2018链接: https://www.ijcai.org/proceedings/2018/0556.pdf动机近年来随着多语言知识图谱嵌入(Multilingual KG embedding)的研究实体的潜在语义表示以及跨语言知识推理等任务均取得一定成效因此也推动了许多知识驱动的跨语言工作。然而受限于各语言知识图谱之间较低的实体对齐(Entity alignment)程度跨语言推理的准确性往往不够令人满意。考虑到多语言知识图谱中具有对实体的文字性描述文章提出一种基于嵌入(Embedding)的策略通过利用图谱中实体的文字描述对仅包含弱对齐KG中的inter-language linksILLs的多语图谱做半监督的跨语言知识推理。为了有效利用图谱知识以及实体的文字描述文章提出通过协同训练(Co-train)两个模块从而构建模型KDCoE多语言知识嵌入模块多语言实体描述嵌入模块。贡献文章的贡献有1提出了一种半监督学习方法KDCoE协同训练了多语知识图谱嵌入和多语实体描述嵌入用于跨语言知识对齐2证明KDCoE在Zero-shot实体对齐以及跨语言知识图谱补全(Cross-lingual KG Completion)任务上的有效性方法1. 多语言知识图谱嵌入Monolingual KG Embeddings, KGEM由知识模型(Knowledge Model)和对齐模型(Alignment Model)两个部分构成分别从不同角度学习结构化知识。知识模型用于保留各语言知识嵌入空间中的实体和关系文章采用了传统的TransE方法构建知识模型并认为这种方法有利于在跨语言任务重中保持实体表示的统一性且不会受到不同关系上下文带来的影响。其对应的目标损失函数如下其中L表示某种语言(LiLj)表示一组语言对GL 表示语言 L 对应的知识图谱 反映的是图谱中三元组 (h,r,t) 之间的相异度是一个 positive margin[x] 则表示取 x 的正值部分 表示一组伯努利负采样三元组用于替换图谱三元组中的 h 和 t.对齐模型用于在不同语言的嵌入空间中获取跨语言关联为了将不同语言间的知识关联起来文章参照MTransE中的线性转换策略其目标函数如下其中(e, e)是一组已知的对齐实体当知识嵌入向量的维度为 k1 时Mij 是一个 的线性转换矩阵用于将 Li 语言的实体向量转换为 Lj 语言。这里与 MTransE 方法不同的是文章仅计算了跨语言实体嵌入而非三元组整体嵌入。KGEM的目标函数其中是一个正超参数2. 多语言实体描述嵌入 Multilingual Entity Description Embeddings, DEMDEM过程包含两个部分编码和跨语言嵌入1) 编码文章使用 Attentive Gated Recurrent Unit encoder, AGRU 对多语言实体描述进行编码可以理解为带有 self-attention 的 GRU 循环网络编码器。文章希望利用self-attention机制使得编码器能够凸显实体描述句子中的关键信息AGRU中的self-attention可以定义为以下公式其中ut 是由 GRU 中 st 产生的隐藏表示attention 权值 at 则是由一个 softmax 函数计算得到反映的是单词 xt 对于序列 X 的重要性而后依据此权重与隐藏表示可以得到 self-attention 的输出 vt|X|(输入序列的长度)用于防止 vt 失去原有的规模。在这个部分作者也尝试了其他的编码框架包括单层网络CNNALSTM等等但AGRU取得了最好的性能2) 跨语言嵌入部分为了更好的反映出多语言实体描述的词级别语义信息文章使用跨语言词嵌入方法用于衡量和找出不同语言间的相似词汇。大致流程可描述如下首先使用跨语言平行语料Europarl V7以及Wikipedia中的单语语料对cross-lingualBilbowa [Gouws et al., 2015] word embeddings进行预训练。而后使用上述embeddings将实体描述文本转换为向量序列再输入进编码器中。3) DEM学习目标文章建立的编码器由两个堆叠的AGRU层构成用于建模两种语言的实体描述。该编码器将实体描述序列作为输入而后由第二层输出生成的embedding。而后文章引入了一个affine层将上述各种语言的embedding结果投影到一个通用空间中其投影过程由以下公式描述DEM 的目标是最大化各个实体描述 embedding 与对应的其他语言版本之间的 log 相似度故可以将目标函数描述如下3. 迭代 Co-training 的 KDCoE 模型文章利用 KG 中存在的少量 ILLs 通过迭代的协同过程训练 KGEM 和 DEM 两个模块过程大致描述如下每次迭代中各模块都进行一系列“训练-生成”的过程1) 首先利用已有的ILLs对模型进行训练2) 之后利用训练得到的模型从KG中预测得到以前未出现过的新ILLs3) 而后将这些结果整合到已有ILLs中作为下一轮迭代的训练数据4) 判断是否满足终止条件本轮迭代中各模块不再生成新的ILLs其算法细节描述如下图实验⑴. 实验相关细节实验数据说明文章实验数据来自DBPedia中抽取的子集WK3160k由英法德三语构成其中每种语言数据中包含了54k-65k规模的实体具体统计信息如下表文章分别在跨语言实体对齐Zero-shot对齐以及跨语言知识图谱补全等三个任务上进行实验其中跨语言实体对齐选用的基线系统包括LMCCAOTITransE以及MTransE的三种策略Zero-shot对齐的基线系统为Single-layer 网络CNNGRUAGRU 的两种策略知识图谱补全的基线系统为TransE ⑵. 实验结果 跨语言实体对齐如下图所示文章设置了三组评价指标分别为accuracy Hit1proportion of ranks no larger than 10 Hit10mean reciprocal rank MRR从结果上看KDCoE模型的性能远优于其他系统且随着Co-train的迭代次数增加系统的性能也都有较为明显的提升。 Zero-shot对齐Zero-shot采用的评价指标与跨语言实体对齐相同下图反映了KDCoE在Zero-shot对齐任务中的实验结果从实验结果上看KDCoE 的效果依然是随着迭代次数的增加而上升但从第一次迭代的结果可以发现其优势的来源基础是 AGRU。这也反映出 AGRU 在编码上相对其他网络模型体现出了更优性能。 跨语言知识补全在跨语言知识补全任务中文章采用proportion of ranks no larger than 10 Hit10mean reciprocal rank MRR等两个评价指标 根据 KDCoE-mono 的表现可以推断该模型成功继承了 TranE 保持结构化知识中实体和关系的稳定性。而 KDCoE-corss 则反映引入跨语言信息确实对知识补全的效果起到了明显提升。总结本文提出了一种基于 embedding 技术的跨语言知识对齐方法通过引入 Co-train 机制将 KG 中的关系上下文与实体描述信息有效的利用起来以现有 KG 中的小规模 ILLs 为基础建立半监督机制在跨语言实体对齐知识补全上都起到了明显的效果。 论文笔记整理谭亦鸣东南大学博士研究方向为知识图谱问答、自然语言处理。 OpenKG.CN中文开放知识图谱简称OpenKG.CN旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
