免费网站后台管理系统模板,哪里有网站设计公司,开发公司与建筑公司合作协议,wordpress首页标题大小上期我们介绍了2020年知识图谱最新权威综述论文《A Survey on Knowledge Graphs: Representation, Acquisition and Applications》的知识图谱实体发现部分#xff0c;本期我们将一起学习这篇论文的关系抽取部分。
论文地址#xff1a;
https://arxiv.org/pdf/2002.00388.p…上期我们介绍了2020年知识图谱最新权威综述论文《A Survey on Knowledge Graphs: Representation, Acquisition and Applications》的知识图谱实体发现部分本期我们将一起学习这篇论文的关系抽取部分。
论文地址
https://arxiv.org/pdf/2002.00388.pdfarxiv.org 关系抽取作为自动化构建知识图谱过程中非常重要的一个技术近年来得到越来越多的关注。
关系抽取
关系抽取是从纯文本中提取未知关系事实并将其加入到知识图谱中是自动构建大规模知识图谱的关键。由于缺少标记的关系数据远程监控distance supervision也称为弱监控或自监督通过假设包含相同实体的语句在关系数据库的监督下可以表示相同的关系使用启发式匹配来创建训练数据。Mintz等人采用了远程监控的关系分类方法文本特征包括词汇和句法特征、命名实体标记和连接特征。传统方法高度依赖于特征工程最近一种方法探索了特征之间的内在关联。深度学习正在改变知识图谱和文本的表示学习。本节回顾了神经关系提取NRE方法的最新进展如下图所示。 1 神经关系抽取
神经网络广泛应用于关系抽取任务中。具有相对实体距离位置特征的CNN最早用来进行关系分类然后利用多窗口CNN和多尺度卷积核进行关系抽取。多示例学习以一个bag的句子作为输入预测实体对之间的关系。PCNN对按实体位置划分的卷积表示段应用分段最大池化。与普通的CNN相比PCNN能够更有效地捕捉实体对内的结构信息。MIMLCNN进一步将其扩展到多标签学习中使用跨句子最大值池化进行特征选择。此外还利用了诸如类关联和关系路径等边信息。
文中还介绍了RNN如SDP-LSTM采用多通道LSTM同时利用实体对之间的最短依赖路径等。BRCNN使用双通道双向LSTM和CNN其结合了用于捕捉序列依赖的RNN和用于表示局部语义的CNN。
2 注意机制
attention机制的许多变体与CNN相结合例如单词级attention捕捉单词的语义信息和对多个实例的选择性注意以减轻噪声实例的影响。APCNN引入了PCNN的实体描述和句子级注意力机制而HATT提出了层次选择性attention通过连接每层的attention表示来捕捉关系层次信息。Att BLSTM提出了用BiLSTM进行单词级的注意力而不是基于CNN的句子编码。
3 图卷积网络
GCN用于对句子的依赖树进行编码或者学习知识图谱嵌入以利用关系知识进行句子编码。C-GCN是以路径为中心的句子剪枝依赖树上的上下文GCN模型。AGGCN也对依赖树应用GCN但以软加权的方式利用多头注意力进行边缘选择。与前两种基于GCN的模型不同Zhang等人将GCN应用于知识图谱中的关系嵌入用于基于句子的关系抽取。进一步提出了一种粗到细的知识感知注意力机制用于信息实例的选择。
4 对抗训练
在多标签多示例学习环境下利用对抗训练AT在基于CNN和RNN的词嵌入中加入对抗噪声进行关系抽取。DSGAN采用GAN来实现去除远程监督的关系抽取。
5 强化学习
近年来利用策略网络训练实例选择器将深度学习技术引入到神经关系抽取中。Qin等训练了基于策略的句子级关系分类器的agent将假阳性实例重新分配到负样本中以减轻噪声数据的影响。以F1得分作为评价指标以基于F1得分的性能变化作为策略网络的奖励。同样Zeng等人和Feng等人提出了不同的奖励策略。基于强化学习的神经关系抽取的优点是关系抽取不依赖于模型。因此它可以很容易地适应任何神经网络结构以有效地抽取关系。最近HRL提出了一个高层关系检测和底层实体抽取的分层策略学习框架。
6 其它研究
Huang和Wang注意到目前的NRE方法并不使用非常深的网络因此将深度残差网络应用于关系抽取发现9层的CNN具有更好的性能。Liu等人提出通过实体分类的迁移学习来初始化神经网络模型。CORD通过双向知识蒸馏和自适应模仿将文本语料库和知识图谱与外部逻辑规则结合起来。TK-MF通过句子和主题词的匹配丰富了句子表示学习。知识图谱中低频关系的存在要求用不可见的类或少数实例进行小样本关系分类。Gao等人提出了用于小样本学习的基于混合注意力的原型网络来计算原型关系嵌入并比较其与查询嵌入之间的距离。
7 总结
在远程监控的假设下关系抽取会受到噪声的影响特别是在不同领域的文本语料库中。因此弱监督关系抽取对于减轻噪声标签的影响是非常重要的例如以句子bag为输入的多示例学习、对实例进行软选择以减少噪声模式的注意力机制AGGCN和将实例选择作为硬决策的基于强化学习的方法。另一个原则是学习尽可能丰富的表示。由于深度神经网络可以解决传统特征提取方法中的误差传播问题因此该领域主要由基于深度神经网络的模型主导各类方法的经典神经关系抽取模型的总结如下表所示。 往期精选
知识图谱最新权威综述论文解读实体发现
知识图谱最新权威综述论文解读知识图谱补全部分
对知识图谱的告白斯坦福大学CS520课程介绍
知识图谱最新权威综述论文解读知识表示学习部分
知识图谱最新权威综述论文解读开篇部分
手把手教你搭建一个中式菜谱知识图谱可视化系统 如果对文章感兴趣欢迎关注知乎专栏“人工智能遇上知识图谱“也欢迎关注同名微信公众号“人工智能遇上知识图谱”让我们一起学习并交流讨论人工智能与知识图谱技术。
