网站设计公司 -,个人社保缴费比例是多少,wordpress ssl,广西工程建设质量安全管理协会网站这里写目录标题 摘要介绍概述问题陈述推理流程 模式图基础概念识别模式图构造概念网通过寻找路径来匹配子图基于KG嵌入的路径修剪 知识感知图网络图卷积网络#xff08;GCN#xff09;关系路径编码分层注意机制 实验数据集和实验步骤比较方法KAGNET是实施细节性能比较和分析与… 这里写目录标题 摘要介绍概述问题陈述推理流程 模式图基础概念识别模式图构造概念网通过寻找路径来匹配子图基于KG嵌入的路径修剪 知识感知图网络图卷积网络GCN关系路径编码分层注意机制 实验数据集和实验步骤比较方法KAGNET是实施细节性能比较和分析与感知知识基准进行比较消融研究错误分析 总结 摘要
常识推理旨在使机器具备人类对日常生活中的普通情况做出假设的能力。
在本文中我们提出了一个用于回答常识性问题的文本推理框架该框架有效地利用 外部的、结构化的常识知识图谱来进行可解释的推理。 外部知识图谱是指与原始知识图谱不同的知识库它们可能来自于不同的领域、不同的语言或者不同的数据源。常见的外部知识图谱包括维基百科、Freebase、YAGO等。这些外部知识图谱可以通过API、SPARQL查询等方式访问和获取从中提取相关信息用于知识库的构建和扩展。 该框架首先将语义空间中的问题-答案对转换为基于知识库的符号空间得到一个基于知识库的表示即一个schema graph模式图即 外部知识图谱的相关子图 。它用一个名为 KAGNET 的新型感知知识图谱网络模块来表示图谱并最终用 图表示法 来给答案打分。 外部知识图谱的相关子图通常指的是从外部知识图谱中提取的、与原始知识图谱相关的一部分子图。 KAGNET是一种基于知识图谱的自然语言推理模型。KAGNET的全称是Knowledge-Aware Global Neighborhood Interaction Network它结合了知识图谱中的全局信息和局部信息通过邻域交互的方式进行自然语言推理。 KAGNET的模型结构包括三个主要部分 1.实体和关系的嵌入表示通过对知识图谱中的实体和关系进行嵌入表示可以将知识图谱中的符号信息转化为连续向量空间中的表示从而方便深度学习模型的处理。 2.邻域交互模块该模块通过邻域交互的方式将知识图谱中的全局信息和局部信息结合起来得到更加丰富的表示以便进行自然语言推理。 3.推理和预测模块该模块通过对邻域交互后的表示进行处理得到自然语言推理的结果通常是一个二分类问题即判断给定的两个句子是否具有逻辑关系。 KAGNET的主要优点是结合了知识图谱的全局信息和局部信息能够有效地处理自然语言推理的问题。同时KAGNET还可以通过迁移学习的方式进行跨领域的模型迁移具有较强的通用性和可扩展性。 使用图表示法我们可以将问题和答案都表示为图中的节点和边从而可以在图上进行计算和推理得到问题和答案之间的相似度或匹配程度进而对答案进行打分。这种方法通常需要使用图神经网络等深度学习模型以便对图进行表示和计算。 我们的模型基于图卷积网络和LSTMs具有 基于层次路径的注意力机制 。中间注意力得分使其透明且可解释从而产生值得信赖的参考。使用ConceptNet作为基于BERT的模型的唯一外部资源我们在CommonsensegA一个用于Commonsense推理的大型数据集上实现了最先进的性能。 注意力机制Attention Mechanism是一种机器学习算法它模拟了人类注意力的行为用于选择输入数据中最相关的部分并在模型中进行加权处理。 注意力机制的基本思想是对输入数据的不同部分赋予不同的权重以便在模型中对其进行加权处理。这些权重可以通过计算每个输入部分与模型中某个特定部分之间的相似度来得到。然后根据这些相似度的权重来计算每个输入部分的重要性并将其加权求和得到模型的最终输出结果。 基于路径层次的注意力机制Path-based Hierarchical Attention Mechanism是一种在知识图谱中应用注意力机制的方法。该方法通过将知识图谱中的实体和关系表示为一组路径然后通过注意力机制对这些路径进行加权处理以便提高知识图谱的表示能力和推理效果。 介绍
推理是将事实和信念结合起来做出新决定的过程以及操纵知识以得出差异的能力。常识推理利用了基本知识反映我们对世界和人类行为的自然理解的基本知识这是所有人类都有的。
赋予机器各种形式的常识推理能力被视为人工通用智能的瓶颈。最近有一些新兴的大规模数据集用于测试 不同关注点 的机器常识。 “不同的关注点”在机器常识中指的是机器学习模型具有对多个方面的关注能力而不仅仅关注某一个方面。例如在自然语言处理中机器学习模型需要同时关注词汇、语法、语境等多个方面才能够更好地理解文本的含义和语义。而在计算机视觉中机器学习模型需要同时关注图像的颜色、纹理、形状、物体等多个方面才能够更好地识别图像中的内容和信息。 一个典型的数据集——CommonsenseQA给出一个问题比如哪里的成年人使用胶水棒答案从{classroom×office√desk drawer×}一个常识性的推理器应该把正确的选择与其他干扰选项分开。错误的选择通常与问题上下文高度相关。但在现实世界中这种可能性很小这使得任务更加困难。本文旨在解决我们如何教机器做出这种常识性推断的研究问题特别是在问答环境中。
研究表明简单地微调大型预训练语言模型如GPT和BERT可以是一种非常强大的基准方法。然而上述基准的表现与人类表现之间仍然存在很大差距。神经模型的再处理也缺乏透明度和可解释性。对于他们如何设法回答常识性的问题没有明确的方法因此他们的推论令人怀疑。
仅仅依靠在语料库上预先训练大型语言模型并不能为可解释的常识推理提供定义明确或可用的结构。我们认为提出能够利用常识知识库的推理器会更好。知识感知模型可以明确地将外部知识作为关系归纳偏差以增强其推理能力并提高模型行为的透明度从而获得更可解释的结果。此外以知识为中心的方法可以通过常识性的知识获取技术来扩展。
我们提出了一种用于学习回答常识性问题的知识感知推理框架该框架包括两个主要步骤
模式图基础推理图建模
对于每对问答候选者我们从外部知识图中重新检索一个图以获取相关知识来确定给定答案选择的可行性。受Gestalt心理学家提出的图式理论的启发这些图表现为“图式图”。基于语境的模式图 通常更复杂、更嘈杂而不是图中所示的理想情况。 Grounded schema graph“基于语境的模式图”也可以简称为“GSG”。 它是一种将自然语言和视觉信息结合起来表示知识的图形结构其中节点表示实体或概念边表示它们之间的关系。与传统的本体论等知识表示方法不同GSG中的实体和关系是从自然语言文本和视觉信息中提取出来的因此不需要手动定义或构建本体。GSG的优点是可以更好地理解自然语言文本和视觉信息之间的关系从而提高自然语言处理和计算机视觉任务的性能。 因此我们提出了一个 知识感知图网络模块(Knowledge-aware graph networkKGN module) 来进一步有效地建模模式图。我们的模型KAGNET是图卷积网络和LSTM的组合具有基于层次路径的注意力机制。它形成了一个基于路径的关系图表示的GCN-LSTM-HP架构。实验表明我们的框架通过中等注意力分数实现了一种新的艺术性能从而获得可读结果。 Knowledge-aware graph networkKGN module知识感知图网络模块 是一种深度学习模型中的组件它将知识图谱例如维基百科或Freebase中的知识与图神经网络GNN相结合用于解决自然语言处理NLP任务。该模块使用知识图谱中的实体和关系来构建一个图形结构然后使用GNN对该结构进行表示学习。KGN模块的目的是通过整合知识图谱中的信息来提高NLP任务的性能。 在KGN模块中知识图谱中的实体被视为节点实体之间的关系被视为边。这些节点和边被输入到GNN中进行表示学习以便更好地理解文本中提到的实体和它们之间的关系。KGN模块的输出可以被用于各种NLP任务例如实体识别、关系提取、问答系统等。 概述
首先形式化常识问答问题在认知环境中然后介绍了框架总体工作流程
问题陈述
给定一个常识性要求的自然语言问题 q q q和一组 N N N个候选答案{ a i a_i ai}任务是从这组答案中选择一个答案。从 知识意识的角度 来看我们还假设问题 q q q和候选{ a i a_i ai}可以作为从大型外部知识图谱 G G G中提取的模式图这有助于测量候选答案的可能性。知识图谱G(V , E)可以被定义为一个固定的概念V的集合不同类型边E描述为概念之间的语义关系。因此我们的目标是有效地联系和构建模式图以完善推理过程。 知识意识角度 指从人工智能和计算机科学领域的知识表示和知识处理角度来探讨人类知识和认知的角度。它强调了知识在人类认知和智能中的重要性并试图通过将人类知识和认知模型与计算机科学中的知识表示和处理技术相结合来更好地理解人类知识和认知的本质。 从知识意识角度来看人类知识可以被视为一种结构化的、层次化的组织形式其中知识被组织成概念、实体和关系的形式。计算机科学中的知识表示和处理技术如本体论、知识图谱、语义网络等可以用来表示和处理这种结构化的知识。从而通过将这些技术应用于人类知识和认知研究中可以更好地理解人类知识和认知的本质并开发出更先进和智能的人工智能系统。 推理流程 如图框架接受了一个问题q答案a对首先从知识图谱的概念集V中分别识别出其中提到的概念。然后通过在所提到的概念对之间寻找路径来用算法构建模式图 g g g。
利用我们提出的知识感知图网络模块对基础模式图进行了进一步编码。我们首先使用模型不可知的语言编码器它可以是可训练的或固定的特征提取器来表示QA对作为语句向量。语句向量是GCN-ISTM-HPA架构的额外输入用于 基于路径的注意图 建模以获得图向量。将图向量最终输入到一个简单的多层感知器中将QA对转换为0到1的标量表示推理的合理性。该框架的最终选择对同一问题具有最大可信度得分的候选答案。 在基于路径的注意图模型中文本数据被表示为一个图形结构其中每个单词被看作是一个节点而它们之间的依赖关系则表示为边。这个图形结构可以被看作是一张无向图其中每个节点与它的相邻节点之间的路径表示了它们之间的语义关系。模型通过基于路径的注意力机制来关注这些路径上的信息并将它们聚合起来用于下游任务的处理。 模式图基础
基础阶段有三个方面
识别文本中提到的概念通过检索已知边图中的路径构建模式图修剪噪声路径
概念识别
我们将问题和答案中的记号与知识图谱G中提到的概念集分别为Cq和Ca进行匹配由于本文的通用性我们选择使用ConceptNet。
概念识别的一个简单方法是将句子中的 n-grams 与V中概念的表面记号精确匹配。例如在“坐得太近看点式会引起什么样的疼痛”的问题中精确地匹配结果Cq可以为{sittingclosewatch_TV, watchTVsortpain等}。我们意识到这些检索到的概念并不总是完美的例如“sort”不是一个语义相关的概念“close”是一个多义概念。如何从嘈杂的知识资源中有效地检索上下文相关的知识本身仍然是一个开放的研究问题因此大多数工作到此为止。我们增强了这种使用一些规则的直接方法如将匹配与词库化和词库过滤相关联并通过 修剪路径pruning path 进一步处理噪声并通过保持机制降低其重要性。 n-grams是一种文本分析方法用于将文本拆分为连续的n个单词或字符的序列。在n-grams中n表示序列中的元素个数。例如如果n为2则称为bigrams如果n为3则称为trigrams。 例如考虑以下句子“I love to code”。对于n为2的情况可以生成以下bigrams “I love” “love to” “to code” “Pruning path”修剪路径是指在神经网络中进行修剪操作时所涉及的路径或过程。神经网络修剪是一种减少模型参数数量的技术旨在提高模型的效率和推理速度同时减少存储需求。 修剪路径通常包括以下步骤 1.训练初始的神经网络模型通常是使用常规的训练方法和数据集。 2.基于某种准则或策略确定哪些神经元、连接或层应该被修剪。 3.定义修剪路径即确定要修剪的神经元、连接或层的位置。 4.在模型中执行修剪操作将被选中的部分神经元、连接或层删除或禁用。 5.对修剪后的模型进行微调或重新训练以恢复修剪导致的性能损失。 模式图构造
概念网
在深入研究模式图的构造之前我们想简单介绍一下我们的目标知识图谱概念网。概念网可以被视为一大组形式为hrt的三元组其中h和t表示在概念集合V中头部和尾部的概念r是预定于关系集R中的某一关系类型。我们将原来42个关系类型删除并合并为17个类型以增加知识图谱的密度用于基础和建模。
通过寻找路径来匹配子图
我们定义了一个模式图作为整体知识图谱 G G G的子图 g g g它表示用 Minimal additional concepts and edges最小附加概念和边缘 推理给定问答对的相关知识。人们可能想找到一个覆盖所有问题和概念的最小跨度的子图这实际上是图中的NP-complete的“施泰纳树问题”。由于概念网的不完整性和有限的规模我们发现以这种方式检索一组全面但有用的知识事实是不切实际的。因此我们提出了一种简单而有效的图形构建算法通过对上述概念的路径查找Cq U Ca。 “Minimal additional concepts and edges”最小附加概念和边缘 是指在概念网络或知识图谱中为了满足特定任务或目标而添加的最小数量的概念和关系边。 在概念网络或知识图谱的构建中通常会根据特定的目标或任务收集和整理常识知识。然而有时候为了完善图谱的覆盖范围或支持特定的推理或应用需要添加一些额外的概念和边。 “Minimal additional concepts and edges” 的概念是指在这种情况下只添加最小的、最必要的概念和边以避免引入过多的复杂性和冗余。 具体来说对于每个问题概念ci ∈ Cq和答案概念cj ∈ Ca我们可以有效地找到它们之间比k个概念更短的路径。然后我们在Cq或Ca中的概念对之间添加边如果有的话。
基于KG嵌入的路径修剪
为了从潜在噪声模式图中修剪不相关的路径我们首先利用知识图谱嵌入KGE技术比如TransE来预训练概念嵌入V和关系类型嵌入R它们也被用作KAGNET的初始化。为了测量路径的质量我们将它分解成一组三元组其置信度可以通过KGE方法的评分函数直接测量即三元组分类的置信度。因此我们用路径中的每个三元组的分数的乘积为路径打分然后根据经验设置修剪阈值。
知识感知图网络
我们推理框架的核心组件是知识感知网络模块KAGNET。KAGNET首先用图卷积网络编码模式图的普通结构以在模式图中的特定上下文中适应预训练的嵌入概念。然后利用LSTMs来编码Cq和Ca之间的路径。最后应用一种基于层次路径的注意力机制来完成GCN-LSTM-HPA架构该架构针对问题和答案概念之间的路径关系模式图进行建模。
图卷积网络GCN
图卷积网络通过池化其相邻节点的特征来更新节点向量从而对结构化数据进行编码。我们将GCNs用于模式图是为了
在上下文中细化概念向量捕获模式图的结构模式进行泛化
尽管我们已经通过重新训练获得了概念向量但概念的表示仍然需要进一步适应其特定的模式图上下文。想想诸如“close”之类的多义概念它可以是像“关门”这样的动词概念也可以是意思为“相距很短”的宾语概念。使用GCN来更新与它们邻居的概念向量有助于消除歧义和上下文化的概念嵌入。此外这种模式图结构模式为推理提供了潜在有价值的信息。例如问题和答案概念之间的更短、更紧密的联系可能意味着在特定环境下更高的可能性。
就像许多工作展示的那样关系GCNs常常通过过度参数化模型无法有效利用多跳关系信息。我们在模式图的纯文本版本无标签非定向上使用GCN忽略边缘上的关系类型。具体而言模式图 g g g中的概念向量ci∈ V g V_g Vg首先通过其预训练嵌入。然后在第 l 1 l1 l1层通过它们邻居节点 N i N_i Ni的池化特征来更新它们且它们在第 l l l层的一个非线性激活函数为 σ σ σ
关系路径编码
为了在模式图中捕获关系信息我们在GCN的输出之上提出了一种基于LSTM的路径编码器。 回想一下我们的图表示有一个特殊的目的“测量给定问题的候选答案的合理性”。因此我们提出用关于问题概念Cq和答案概念Ca之间的路径来表示图。
在第i个问题概念ci(q)∈Cq和第j个答案概念cj(a)∈Ca之间将第k个路径表示为 P i , j [ k ] P_i,_j[k] Pi,j[k]它是一个三元组序列 注意关系用可训练的关系向量表示用预先训练的关系嵌入初始化概念向量是GCN的输出 h l h^l hl。因此每个三元组都可以由三个对应的矢量串联表示。使用LSTM网络来编码将这些路径编码为三元组向量序列采用第一个和最后一个隐藏状态的 串联 Ri,j可以视作在问题概念ci(q)和答案概念cj(a)之间的潜在的关系我们在模式图中聚合它们之间所有路径的表示。 指的是将两个向量按照一定的顺序连接起来形成一个更长的向量的操作。 例如假设有两个向量 A [1, 2, 3] 和 B [4, 5, 6]。通过连接操作我们可以得到一个新的向量 C表示为 C [1, 2, 3, 4, 5, 6]。在这个例子中向量 C 是将向量 A 和向量 B 按照顺序连接起来形成的。 现在我们可以通过使用平均池化Mean pooling聚合矩阵R中聚合所有向量来最终确定模式图 g g g的向量表示 其中[ ; ]意思是两个向量的串联。上式中的语句向量s是从某个语言编码器获得的该编码器可以是像LSTM这样的可训练序列编码器也可以是从像GPT/BERT这样的预训练通用语言编码器中提取的特征。为了用通用语言编码器对问题和答案进行编码我们只需创建一个句子将问题和答案与特定标记“question[sep]answer”组合在一起然后通过先前的工作使用“[cls]”的向量作为建议。
在进行平均池化之前我们将Ri,j与一个额外的向量Ti,j连接起来。 Ti,j它源于关系网络该网络还将来自上下文的潜在的关系信息编码为状态图s。简单地说我们想将问题/答案概念对的关系表示从模式图侧符号空间和语言侧语义空间结合起来。最后问题q的候选答案a的真实性得分可以通过 计算。
分层注意机制
反对上述GCN-ISTM-mean体系结构的一个自然论点是路径向量上的均值池并不总是有意义的因为有些路径对推理来说比其他路径更重要。此外通常并不是所有成对的问题和答案概念同样有助于推理。因此我们提出了一种基于层次路径的注意力机制以选择性地聚合重要的路径向量然后聚合更重要的问答概念对。 这一核心思想与一种文档编码器类似该编码器具有两个级别的注意力机制分别应用于单词和话语级别。在我们的例子中我们有路径级和概念对级的注意力来学习对图表示进行上下文建模。我们获得路径级别注意力得分的参数矩阵Wi以及路径的重要性Pij[k]表示为。 然后我们类似地获得了概念对之上的注意力的概念 认为整个GCN-ISTM-HPA体系结构如图所示。总之我们声称KAGNET是一个具有GCN-LSTM-HPA架构的图神经网络模块它在知识符号空间和语言语义空间的背景下为关系推理建模关系图。
实验
数据集和实验步骤
CommonsenseQA数据集由总共12102个v1.11自然语言问题组成这些问题需要人类的常识推理能力才能回答其中每个问题有五个候选答案硬模式。作者还通过选择两个随机术语/短语进行检查重新发布数据集的简单版本。CommonsenseQA直接从真人注释中收集涵盖了广泛类型的常识包括空间的、社会的、物理的等等。据我们所知CommonsenseQA可能使我们评估监督学习模型的最合适的选择。
为了与CommonsenseQA论文中的报道结果与leaderboard中报告的结果进行比较我们使用了名为OFtrain/OFdev/OFtest的官方拆分9741/1221/1140。 请注意只能通过向组织者提交预测来测试OFtest的性能。为了有效地测试其他基线方法和消融研究我们选择使用从训练数据中随机选择的1241个样本作为我们的内部数据形成一个8500/1221/1241分裂表示为IHtrain/IHdev/Htest。所有实验都使用了作者建议的随机分裂设置并在开发集上测试了三个或更多个随机状态以选出性能最好的一个。
比较方法
Knowledge-agnostic Methods 这些方法要么不使用外部资源要么只使用非结构化的文本语料库作为额外信息包括从搜索引擎或大型预训练语言模型如BERT-large中收集文本片段。QABILINAR、QACOM-PARE和ESIM是三种用于自然语言推理的监督学习模式可以配备不同的单词嵌入包括Glove和ELMo。BIDAF利用谷歌网络片段作为上下文并在使用ELMO作为输入功能的同时进一步增加了自我关注层。正如作者所建议的GPT/BERT-LARGE是一种具有额外线性层的精细调整方法。他们都会在输入中添加一个特殊的标记“[sep]并使用“Icls]”的隐藏状态作为线性层的输入。knowledge-aware Methods 我们还采用了一些最近提出的将知识图谱合并用于问答的方法。KV-MEM是一种在单词层面结合从ConceptNet检索到的三元组的方法该方法使用键值记忆模块通过学习相关三元组向量的注意聚集来单独改进每个令牌的表示。CBPT是一种插件式方法利用ConceptNet中预先训练的概念库直接组装任何模型的预测。TEXTGRAPH-CAT将状态的基于图和基于文本的表示连接起来然后将其输入分类器。我们创建了一个用于生成句子的句子模板然后将检索到的三元组作为额外的文本输入作为基线方法TRIPLESTRING提出从注释者那里收集人类对常识推理的解释作为附加知识CoS-E然后基于这些人类注释训练语言模型以提高模型性能。
KAGNET是实施细节
我们最好的在OFdev上测试的KAGNET设置有两个GCN层分别为100dim和5odim和一个双向LSTM128dim。 我们使用用GloVe嵌入初始化的TransE100维度预训练KGE。 使用的语句编码器是BERT-LARGE它是一个预先训练的语句编码器用于获得每对问答数据的固定特征。 对路径进行修剪将路径得分阈值设置为0.15保持原始值的67.21%的路径。 我们没有对少于三条路径的概念对进行修剪。 对于极少数没有路径的配对将是一个随机采样向量。 我们使用Adam optimizer学习我们的KAGNET模型。
在我们的实验中我们发现ConceptNet对常识性问答的回忆率很高超过98%的QA对有不止一个基础概念。
性能比较和分析 如表所示我们首先使用官方的划分将我们的模型与论文和排行榜上报告的基线方法进行比较。 基于BERT和GPT的预训练方法比其他基线方法高得多证明了语言模型以隐式方式存储常识的能力。我们提出的框架工作在测试数据上实现了2.2%的绝对不准确度增量这是最先进的性能。
我们用内部拆分进行了实验以研究KAGNET是否也能在其他通用语言编码器GPT和BERT-BASE上很好地工作特别是在数据集的不同部分比如10%、50%、100%的训练数据。
表1表明我们使用固定的预训练语言编码器的基于KAGNE T的方法在所有设置中都优于自我微调。此外我们发现在小数据情况下10%的改进相对有限因此我们认为未来的一个重要研究方向是少样本学习对常识进行推理。
与感知知识基准进行比较
我们的方法在准确性方面大大优于所有知识感知基线方法。请注意我们将我们的模型与表2中的CoS-E进行了比较。尽管Cos-E也通过人工生成的解释进行训练来获得比仅微调BERT更好的结果但我们认为我们提出的KagNet没有利用任何额外的人工努力来提供更多的监督。
消融研究
为了更好地了解我们方法中每个组件的有效性我们进行了消融研究。
我们发现将我们的GCN-LSTM-HPA架构与传统的关系型GCN重新放置在一起由于其过度参数化传统的关系GCN对不同的关系类型使用分离率权重矩阵导致性能较差。注意力机制在两个层面上几乎相同修剪也有效地过滤了有噪声的路径。
错误分析
在错误案例中有三种困难导致KAGNET无法一直很好。
否定推理基础阶段对否定词不敏感因此可以选择完全相反的答案比较推理策略对于具有多个高度可能答案的问题常识推理者应该从研究不同答案之间的差异中受益而KAGNET训练无法做到这一点主观推理许多答案实际上取决于推理者的个性。例如从一个新地方到一个新地方旅游可能是什么数据集给出的答案是“兴奋”而不是“焦虑”我们认为这更像是一种个性化的主观推断而不是常识。
总结
