广州网站优化步骤,网站数据库搬家,下载新河网,网站内容策略论文笔记整理#xff1a;谭亦鸣#xff0c;东南大学博士生#xff0c;研究方向为跨语言知识图谱问答。来源#xff1a;NAACL2019链接#xff1a;https://arxiv.org/pdf/1904.02342.pdf本文关注如何从信息抽取结果#xff08;特别是知识图谱#xff09;出发#xff0c;生… 论文笔记整理谭亦鸣东南大学博士生研究方向为跨语言知识图谱问答。来源NAACL2019链接https://arxiv.org/pdf/1904.02342.pdf 本文关注如何从信息抽取结果特别是知识图谱出发生成连贯的多句文本。作者表示图谱化的知识表示在计算中普遍存在但由于其非层次长距离依赖结构多样等特性使得基于图谱的文本生成成为一个巨大的挑战。 动机为了摆脱图谱表示学习过程需要添加的线性/层次约束有效利用起图谱中的关系结构作者提出一种新的Graph Transformer编码器。 贡献1. 提出了一种Graph Transformer编码方法用于知识图谱表示学习2. 提出一种将IE输出转换为图结构用于编码的过程3. 构建了一个可复用的大型“图谱-文本”对数据集 方法Graph Transformer 预先准备为了进行编码作者将图谱重构为一种无标注的连接图实体和关系都为图中的节点下图左为一般的知识图谱三元组形式右边为重构的图结构。可以看到每个三元组都被替换为两个“实体-关系/关系-实体”的有向图同时为了保留未连接实体之间的信息流information flow作者设置了一个全局结点G指向所有的实体节点。 最终得到的是一个全连接无标注的图G (V, E)其中V表示图中所有节点的列表实体关系全局节点E则是表示图中各条边的方向的邻接矩阵。 Transformer 模型本文模型与图注意力网络GAT的思路相近利用注意力机制将相邻节点的信息用于生成目标节点的隐状态表示。但是GAT模型仅考虑图谱中已出现相邻节点的信息本文提出的全局节点设定使得模型能够利用更为全局的信息可能存在的实体关联但并未出现在知识子图中的潜在信息下图是graph transformer模型的框架图结构上与普遍使用的transformer模型并无明显区别本文不再赘述。 Graph Attention的计算由各head的输入加权拼接实现过程如下End2End 文本生成模型 End2End 文本生成整体上还是由编码和解码两个部分构成如下图其中编码结果由两个编码输入整合得到分别为图谱编码来自 graph transformer与主题/标题Title编码来自biRNN。个人理解主题编码的目的是给多句文本的生成提供一个顺序指导假设多句连贯文本本质上是一条一套三元组构成的路径主题编码则是表示路径的起点以及生成过程必须经过的某些节点。 解码部分则是由一个单向的RNN构成生成序列的过程除了从词表中选词的softmax方式外还添加了复制机制这一做法可以避免低置信度文本生成以及OOV情况。实验数据说明本文实验所使用的训练数据来自AGENDAAbstract Generation Dataset摘要生成数据集科技论文领域作者利用SciIE信息抽取系统将摘要中的实体/关系识别出来作为节点构建知识图谱过程如下图所示。AGENDA数据集的相关统计参数如下图所示作者将数据集切分为38720规模的训练集1000验证集与1000测试集 实验方案作者考虑了人工评价与自动评价两种评测机制自动评价方法选择了常见的BLEU与METEOR用于反映生成文本相对参考文本的n元文法相似程度对比系统与结果如下表所示。人工评价方面则通过投票对候选系统的输出结果进行投票可以看到本文方法在best评价的获取数量是Rewriter未引入知识图谱的方法的两倍可以说图谱化的知识相对非结构化文本提供了更清晰的知识结构。 更为直观的是一些生成样例如下图所示思考 本文使用的图谱由文本中的信息抽取构造而成并不是对现有知识图谱的应用这一做法避免了图谱中实体/关系节点表示形式与自然语言表达差异性带来的影响是一种“文本-图谱-文本”的过程图谱中节点的表达都明显倾向自然语言。换言之这种图谱结构的稳定性歧义性是需要讨论的此外本方法直接用于已有图谱如DBpediaYAGO到文本的生成则需要解决实体关系描述倾向非自然语言的情况。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
