嘉兴网站建设公司哪家好,网站前期运营策略,搜索关键词排名优化,成都seo培训学校论文笔记整理#xff1a;申时荣#xff0c;东南大学博士生。地址#xff1a;https://arxiv.org/pdf/1902.00756.pdf来源#xff1a;ACL2019在许多自然语言处理任务#xff08;例如关系提取#xff09;中#xff0c;多跳关系推理是必不可少的#xff0c;而图神经网络申时荣东南大学博士生。地址https://arxiv.org/pdf/1902.00756.pdf来源ACL2019在许多自然语言处理任务例如关系提取中多跳关系推理是必不可少的而图神经网络GNN是进行多跳关系推理的最有效方法之一。但是大多数现有的GNN只能在预定义图上处理多跳关系推理而不能直接应用于自然语言关系推理中。也就是说如果对于图中的节点和边无法提前定义的话传统的图模型方法就不适用。于是本文提出了一种通过自然语言来生成图模型中边的参数的方法来定义新的图模型结构。本质上是通过无结构数据构建实体间信息传递的参数矩阵不局限于预定义的图结构。其整体框架如下图所示Graph Neural Network with Generated Parameters (GP-GNNs)实现细节1. 定义全连接的图其中节点对应所有的entities边对应语料中提取的特定的自然语言序列。2. 编码模块通过对边对应的自然语言序列进行编码特征提取将非结构化数据映射到一个转移矩阵。其中自然语言的编码过程和传统方法一致通过嵌入层和LSTMGRU或CNN进行编码。在文章里使用了BiLSTM对句子进行编码之后使用带有非线性激活函数的多层感知机将BiLSTM的输出转换成一高维向量并将词向量reshape 成为一个矩阵用来传递节点信息。3. 传递模块这个模块做的事情和传统的GNN一致输入是节点entities的初始化嵌入通过GNN的迭代输出经过再次编码的节点嵌入当然这里用的传递矩阵不是可训练的参数而是来自编码模块输出的矩阵。4. 分类器这里的分类器也和传统分类器一致输入为labelrelation的表示向量所有节点的嵌入输出每个类别的概率。 本文中用于两个节点之间的关系推理使用了这两个节点在每一层GNN的输出信息构建了特征向量使用多层感知机softmax输出分类概率5. 实验及结果参数设置数据集Distantly labeled set Sorokin and Gurevych (2017)Human annotated test set (Sorokin and Gurevych, 2017)Dense distantly labeled testset结果 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
