德阳建设局网站,怎么用wordpress找东西,镇江优化推广,惠州网吧本文转载自公众号#xff1a;知识工场。罗康琦#xff0c;上海交通大学计算机系2019届博士#xff0c;研究方向为自然语义理解和知识图谱。2012年获得华中科技大学软件工程学士学位#xff0c;现就职于京东数据科学实验室#xff08;Data Science Lab#xff09;。他曾在… 本文转载自公众号知识工场。罗康琦上海交通大学计算机系2019届博士研究方向为自然语义理解和知识图谱。2012年获得华中科技大学软件工程学士学位现就职于京东数据科学实验室Data Science Lab。他曾在AAAIIJCAIEMNLP等国际顶级会议上发表多篇论文。第 5 章 面向复杂语义的知识库自动问答研究本章的研究为基于知识库的自动问答任务。用户提出的问句可能具有复杂语义其中包含了未知答案与相关实体的多种关系因此复杂问句的回答过程充满了挑战。我们提出了面向复杂语义的知识库问答模型主要特点在于我们利用神经网络学习复杂语义结构的整体连续特征表示从而捕捉不同语义成分之间的信息交互。5.1 概述基于知识库的自动问答 KBQA 是自然语言处理中的经典应用场景。该任务以自然语言问句作为输入并根据已有结构化知识库提供的信息寻找到问句的一个或多个答案。以 FreebaseYAGODBPedia 为代表的结构化知识库主要以维基百科为骨架构建而成它们包含真实世界的广域知识因此常用于自动问答任务中。 在自动问答任务中我们关注的问题称为 “事实类问题” 其特点在于它们询问的是与句子中实体相关的客观事实因此答案为知识库中存在的实体、数值或时间。以一个较简单的问题为例“ What’s the capital of the United States? ” 为了准确回答这个问题 一个较为直接的方式是首先识别句子中的相关实体并链接到知识库再将该实体与目标答案之间的自然语言关系映射为知识库中的一个谓词或为词序列那么原问题即可转换为具有实体谓词目标答案三元组形式的查询语句例如 ( united_states, capital,? )通过在知识库上运行查询语句生成最终的结果。将已有的问题答案 对作为训练数据我们可以通过远距离监督 Distant Supervision 的形式学习问句和查询语句之间的映射关系。对于只包含简单语义的问题我们可以通过上述方法将其转为知识库上的一个基本三元组查询但这样的方法并不适用于其它具有更复杂语义的问题。例如图5–1所示为了准确回答问题 “ What is the second longest river in United States? ” 我们实际上需要对其进行推理得出以下三条语义线索1)答案实体位于美国内部2)答案实体的类型是河流3)在满足前两个条件的所有实体中根据长度属性进行降序排列目标答案排在第二位。具体分析第一条语义类似于简单问题描述相关实体和答案间的关联第二条语义则描述了知识库中的特定类型与答案的包含关系第三条语义和序数相关它甚至不能简单地对应到知识库中已有的事实三元组。由此可见我们需要挖掘出多条不同的关系才能准确地定位目标答案。对于这类无法通过单个三元组查询来精确描述语义的问题我们将它称为“复杂问题”也是这个章节研究的重点。 图5–1 一个具有复杂语义的问句示例。 回答复杂问题的核心在于问答系统是否能准确理解问句中多部分语义之间的组合关系而不仅仅是通过搜索的方式得到答案。这条思路对应了解决自动问答的语义解析技术 Semantic Parsing [39,40]。对于一个问句基于语义解析的模型会将其转换成一棵语义解析树这样的解析树等价于知识库中的查询图 Query Graph 与关系理解中的模式图类似是包含未知实体知识库子结构。本章中“语义解析树” “查询结构” 和 “查询图”表示同一概念。图5–1为问题“ What is the second longest river in United States? ” 的查询图具有树形结构。代表未知答案的节点 A 为解析树的根节点三个叶节点US river2则由问句的字面描述中抽取出来并已链接到知识库中的实体、类型、时间或是数值上。这些叶节点通过知识库中的谓词序列与答案节点连接从而对未知答案进行限制因此本节中也称叶节点为问句的 “相关节点” 。此外近年来神经网络模型在提高自动问答系统的性能方面显示出了巨大的前景在多个不同的自动问答数据集上通过神经网络改善语义解析的方法成为了目前最先进的技术[42,43,139]。基于以上论述本章所讨论的工作围绕语义解析技术结合神经网络模型的思路并将其扩展至复杂问题场景。 语义解析模型可以分为两个部分生成候选查询图以及预测最佳查询图。候选查询图的生成可以采用自底向上的方式构建[40,41]或是分阶段形式由简到繁逐步生成所有候选[42,43]。预测最佳查询图主要是基于计算问题和查询图之间的语义相似度挑选出最佳查询图。对于回答简单问题目前已有的神经网络模型主要遵循“编码-比较”框架即首先利用卷积神经网络 CNN 或循环神经网络 RNN )将原始问题以及候选的谓词序列分别进行编码形成在同一个向量空间中的两个不同的语义向量两者之间的语义相似度则可以定义为向量空间中的距离度量。 当输入的问题具有复杂语义时候选的查询图无法简化为线性的谓词序列如何对复杂的查询图进行编码成为了语义相似度模型的关键问题。一个较为直观的做法是将整个查询图看做由答案节点到不同叶节点的路径集合例如图5–1中的虚线框将查询图分成三个语义成分分别对应指向不同相关实体的谓词序列。这使得针对简单问题的神经网络模型可以被直接应用即分别计算问句与不同语义成分的相似度分值并将其聚合平均或相加用来代表问句与查询图整体的语义相似度。 这种基于查询图拆分的方式具有其合理性每个语义成分仅对应一个相关实体类似人类对问句推理得到的平行语义线索。然而基于此法套用简单问题的神经网络模型依然存在两个缺陷。第一个缺陷是将独立的语义成分与问句直接比较会带来风险。 对于简单问题唯一的谓词路径代表了整个问句的语义问句和查询对应的语义向量越相近代表它们匹配度也越高。然而复杂问题的查询图中每一个独立的路径仅包含问句部分语义即便是正确的谓词路径与问句整体依然存在语义差距。若整体相似度由各部分相似度相加产生则可能导致训练陷入局部极值即问句经编码后的语义向量倾向于查询图中的某条特定谓词路径而难以和其余正确的语义成分产生匹配。第二个缺陷是分别计算相似度再简单相加的形式会丢失信息。将查询图的多个谓词序列分别进行编码计算相似度再合并这样的做法视作互相独立的多个部分。因此这样的模型无法理解不同语义成分之间存在的重叠、互补等语义交互。模型没有学习整个查询图的语义向量因此无法从一个全局的角度描绘复杂查询图所包含的语义组合。已有的文献 [42, 139] 尝试规避上述两个缺陷它们的共同点在于从查询结构中仅挑选一条主路径与问句计算语义相似度对于查询结构中的其它限制则依赖于人工定义的规则特征或引入外部非结构化文本进行额外过滤。问答模型效果得以提升但并没有直接应对这样的不足。在本章中我们着手于利用神经网络模型改善问句与复杂查询图之间语义相似度计算的效果并尝试解决之前论述的两个缺陷。该模型整体基于对问句和谓词序列的编码将其表示为同一个语义空间下的语义向量。我们的模型和之前方法主要区别在于模型对各个语义成分编码后的向量进行结合形成对于查询图整体的语义向量表示。同时为了弥补问句和语义成分之间的信息不对等在对问句进行编码的过程中我们利用依存语法分析 Dependency Parsing 寻找问句中和特定谓词序列相关的局部信号以此作为对问句字面信息的补充使模型能更好地将问句和不同的语义成分对齐。 本章的贡献可以总结为以下四个部分 1. 提出了一个轻量化和有效的神经网络模型来解决具有复杂语义的自动问答任务。 据我们所知这是第一次尝试在模型中对复杂查询图的完整语义进行明确编码2. 通过融入依存语法分析信息来丰富模型中问句的语义表示并进行模型分析以验证其有效性 3. 通过一种集成的方法对已有的实体链接工具进行改良丰富从问句中获得的候选实体并进一步提升任务的整体效果4. 在多个自动问答数据集上进行实验在由复杂问题组成的 ComplexQuestions 数据集中模型的效果超过了已有的方法在主要有简单问题组成的 WebQuestions 和 SimpleQuestions 数据集中模型依然具有很强的竞争力。5.2 相关工作 基于知识库的自动问答是最近几年的热门研究。最主要的用于解决自动问答的方法可以分为两类基于信息抽取 Information Extraction 和基于语义解析 Semantic Parsing 。基于信息抽取的问答模型首先通过实体链接寻找句子中的相关实体将它们在知识库上邻近的实体抽取出作为候选答案。对于候选答案的排序则依赖以候选答案为中心的知识库子图与问句之间的关联特征。早期的文献 [35] 利用特征工程进行训练而后一系列深度学习模型[37,95,96]则通过神经网络学习答案在类型、谓词、上下文等多个不同维度与问句的语义关联程度并取得了明显的效果提升。基于语义解析的系统则会先生成带有复杂结构的候选查询图将查询图翻译为能在运行在知识库上的结构化查询语句得到最终的答案。早期的语义解析系统[38,39]根据 PCCG 文法生成和具体知识库无关的中间表达形式通常以 λ 算子的形式呈现再将 λ 算子中的谓词和常量映射到知识库中的具体谓词和实体。Liang 提出的 λ-DCS [89]是对 PCCG 的简化语义解析树依然为自底向上的方式但 λ 表达式由简单的相交、合并等规则生成大大降低了解析树生成的复杂程度。最近的研究中分阶段候选差选图的生成[42,43]已证明了其有效性 它利用深度搜索通过由简到繁逐步扩展查询图不需要定义操作也摆脱了自底向上生成过程中组合顺序与单词顺序相关的限制。 随着深度学习的发展神经网络模型被广泛使用于知识库上的自动问答任务并且展示出了优秀的结果。这些方式的基本思路是利用神经网络的对特征表示的学习能力将问句转换为连续空间上的向量表示同时再将查询结构或答案实体映射到同一语义空间并定义问句和答案的语义相似度根据问题答案对进行学习预测正确的查询。处理简单语义的神经网络问答模型具有较多的变种例如文献[48,92]使用了字符级别的循环神经网络以及注意力机制对谓词序列和相关实体均进行相似度计算 对于未在训练数据中观察到的单词模型依然具有鲁棒性Bordes 等人[46]利用知识库向量学习关注候选答案的在知识库中的类型、相连谓词、相邻实体等信息学习它们在知识库上的向量表示并以此对候选答案进行编码Yu 等人[49]引入了多层循环神经网络并通过残差连接的方式同时捕捉问句在词级别和整体级别与特定谓词序列的语义匹配Qu 等人[93]提出了 AR-SMCNN 模型除了利用循环神经网络捕捉问句和谓词序列在语义上的相关性还利用了类似与卷积神经网络处理二维图像的方式在词级别相似度矩阵中寻找纹理学习问句和谓词序列的另一种相似度量。 对于利用神经网络回答复杂语义的问题已有的工作进行了不少尝试但并没有尝试学习查询图整体的语义表示。例如文献[42, 139]侧重于用神经网络计算问句和查询图中主路径的匹配关系相当于退化至简单语义场景。对于查询图中除去主路径的其余语义成分Yih 等人[42]利用人工定义特征捕捉少数特殊语义但基于特征工程的方法不具有较好的扩展性Xu 等人[139]则挖掘非结构化文本中的上下文信息对满足主路径的候选答案进行过滤这种方式被视为模型计算之后的处理而并没有从本质上解决问题。Bao 等人[43]利用每个相关实体在问句中的上下文窗口表示局部语义并和查询图中的对应的谓词路径进行相似度匹配计算但谓词路径之间仍缺少关联。 此外依存语法分析可以描述一个句子中词汇间的远距离依赖关系考虑到它与查询图的结构较为相似因此候选查询结构的生成可以基于依存分析树进行转换语义匹配过程也更多利用了结构上的相似关系例如文献[90, 91]。我们的模型同样使用了依存语法分析但将其视为语义特征的信息来源而并非直接决定候选查询图的形状因此我们可以生成更灵活的查询图。5.3 我们的方法 本节将具体阐述复杂语义下的自动问答模型。主要包括四个部分1.基于分阶段的方式生成所有候选查询图 2. 通过神经网络定义问句和查询图整体之间的语义相似度 3.基于集成的方式对已有的实体链接结果进行扩充4.具体的训练以及测试流程。5.3.1 分阶段查询图生成本节中主要阐述分阶段候选查询图的生成过程。与已有的工作比较例如文献[43]我们对候选生成的策略进行了优化主要利用了查询图中对答案类型的隐含限制以及知识库中用来维护和时间段事实相关的特殊设计。本文中我们主要考虑四种不同的语义限制分别是实体、类型、时间、顺序限制。例如在问句中实体限制描述了答案与某已知实体的联系顺序限制描述了答案按某种方式排序所具有的序号。以图5–2为例我们通过问句 “ who is the youngest president of the united states after 2002? ” 阐述候选图的具体生成过程该问句同时包含了上述四种语义限制。为了方便描述本节假设 Freebase 为问答系统所使用的知识库。 阶段一相关节点链接。该步骤寻找问句中代表相关实体、类型、时间、顺序的词汇或短语并链接到知识库上。相关节点作为候选查询图的叶节点是不同类别语义限制的起点。图5–2(a) 列出了可能的 短语叶节点 对同一个短语可以对应到多个候选叶节点。不同语义限制类别实体、类型、时间、顺序的叶节点有着各自的链接方式。对于实体链接我们使用了已有的链接工具 S-MART [54]在多个已有的自动问答研究均被使用。S-MART 对所有可能的 短语实体 进行打分并保留了至多前十组结果。对于类型链接考虑到知识库中不同的类型数量有限我们枚举问句中所有长度不超过 3 的短语并根据预训练的词向量计算不同短语和类型之间的余弦相似度同样保留至多前十组结果。对于时间链接我们通过正则表达式识别句中出现的所有年份。对于顺序链接我们利用预先定义的形容词最高级词汇列表例如 largesthighest latest 等描述客观事实的最高级词汇并在问句中匹配最高级词汇或 “序数词 最高级”的词组如“ second longest ”。对应的叶节点表示顺序值若匹配到序数词则顺序值为序数词对应的数字否则为 1。如图5–2(a)所示“ youngest ”, 1 为生成的唯一顺序链接。 图5–2 分阶段候选图生成的具体例子。 阶段二生成主路径。主路径是一个查询图的基础代表着问句最主要的语义。考虑到几乎所有的事实类问题都和问句中至少一个实体相关因此它被定义为从答案出发通过谓词序列连接至某个实体节点的路径等同于一个简单问题的查询图。我们枚举所有被链接的实体以及它们在知识库中相连的合法谓词序列即可生成一系列候选主路径。谓词序列的长度为1或2后者实质是描述了多元关系中某两个实体的关联。图5–2(b) 显示出了某一个主路径其中答案节点 A 以及中间节点 v1 都是变量节点。对于后续更复杂的语义限制在图中均表示为由主路径上某变量节点出发指向特定的叶节点的谓词序列。 阶段三添加额外实体语义限制。这个步骤的目的是在主路径之上扩充与实体相关的语义限制。受到4.2.4.1节中复杂模式图生成的启发我们同样采用深度优先搜索的方式由简到繁进行查询图生成。对搜索空间中的每一个查询图我们尝试单个谓词连接不同的变量节点与实体节点构建出具有不同复杂程度的查询图。如图5–2(c)所示在主路径上添加的实体语义限制为( )。基于深度优先搜索的优势在于查询图中的实体数量不受限和基于模板的候选生成方法相比具有更高的覆盖率 同时搜索过程中可以通过剪枝策略排除无法生成答案的查询图提高候选生成速度。 阶段四添加类型限制。类型限制只能和答案节点关联利用知识库中的 IsA 谓词连接某个具体的相关类型节点。在该步骤中我们对已有方法进行了改进通过答案节点直接连接的谓词推测出其具有的隐含类型以此对类型限制进行过滤。如图5–2(c)所示与答案直接相连的谓词为 根据知识库对谓词的定义其主语类型为 因此成为答案的隐含类型。因此我们可以过滤与隐含类型无关联的相关类型节点从而防止语义偏离并提升候选差选图的生成速度。具体而言为了定义两个类型是否相关我们采用了4.1.2.3节中通过松弛类型包含构建的 Freebase 类型层次关系。若某相关类型不包含任意一个隐含类型或不被任意一个隐含类型包含我们则将其视为无关类型不用于候选生成。 阶段五生成时间、顺序限制。 完成类型限制的添加后主路径上所有变量节点的类型显式类型限制以及隐含类型都已确定因此我们可以枚举隶属于这些类型的特定谓词完成时间和顺序限制的添加。如图5–2(d)所示时间限制通过长度为2的谓词序列表示例如序列 其中前一个谓词在知识库中指向时间后一个谓词为虚拟谓词指明了和特定时间比较的方向由问句中位于时间前的介词进行确定例 如“ before ”,“ after ”以及“ in ”。类似地顺序限制同样由长度为2的谓词序列表示例如序列 前者在知识库中指向整数、浮点数或时间后一个谓词表示降序排列。我们并不能从问句中获取直接的信号确定排序方向因此生成具体的排序限制时两种方向都进行枚举。值得注意的是对于时间限制我们的方法进行了针对性优化。已有的文献 [42,43]仅考虑使用一条谓词与时间相连我们的改进在于使用了知识库中存在的成对时间谓词来描述更加准确的时间限制。Freebase 中成对时间谓词用来描述和时间段相关的事实例如图5–2(d) 中的 from 谓词存在谓词 to 与之对应两者分别为起始时间谓词和终止时间谓词。我们通过简单的名称匹配方式收集了知识库中356组成对谓词对于时间比较为 “ in ” 的形式例如句中出现 “ in 2002 ” 我们在图中使用起始时间谓词进行连接但生成 SPARQL 查询语句时起始和终止谓词均会被使用从而确保问句中的相关时间能够限制在一个时间段内而不是仅仅等同于起始或终止时间点。 所有阶段结束后我们将所有生成查询图转换为 SPARQL 查询语句并在Freebase 中查询最终答案。图5–2(d)中的查询图对应的完整 SPARQL 查询语句对应如下 代码5–1 SPARQL 查询语句示例最后我们舍弃掉没有结果的查询图以及使用的相关实体对应词组出现重叠的查询图。和已有系统相比本节的候选图生成使用了更少的人工规则并在类型限制和时间限制上进行了改进加快生成速度的同时描述更加准确的语义限制。5.3.2 基于神经网络的语义匹配模型 本节介绍的语义匹配模型如图5–3所示。作为预处理部分查询图中使用的实体或时间节点对应于问句中的短语被替换为单词⟨ E ⟩(或⟨ ⟩)这样问句的语义将不会被具体的实体或年份所干扰。为了对查询图整体进行编码我们首先将其分拆为从答案节点出发指向不同叶节点的谓词路径也称为语义成分。同样为了去除具体的实体、时间、顺序值对语义的干扰谓词序列不包括叶节点的信息类型限制是一个特例作为模型输入的谓词序列为[ IsA, river ]类型节点的信息被包含在内。接下来将逐个介绍对问句和谓词序列的编码基于查询图整体语义表示计算相似度的方式。5.3.2.1 语义成分编码为了对语义成分 p 进行编码模型对主要利用谓词序列的名字信息以及每个谓词在知识库中的编号信息。以图5–3为例查询图的第一个语义成分仅由一个谓词构成对应的编号序列为 [ contained_by ]。将序列中的每个谓词在知识库中显示的名字相连即可的到谓词名字序列即[“ contained ”,“ by ”].图5–3 语义匹配模型的整体结构对于语义成分的谓词名字序列 我们首先通过词向量矩阵 ∈ 将原始序列变为词向量 , 其中 | | 表示自然语言词汇数量 d 表示词向量维度。接着我们采用词平均的方式计算整个名字序列的语义向量即 . 对于谓词编号序列 我们将整个序列视为整体并根据序列级别的向量矩阵 ∈ 直接转换为语义向量表示其中 代表训练数据中不同的编号序列数量。之所以将编号序列看做整体而不使用编号的向量平均或循环神经层表示语义主要原因有以下三点1)根据候选图生成方式每个语义成分的谓词编号序列长度不超过32)通常情况下对单个谓词序列进行打乱重排操作新的序列是非法的不会出现在其它查询图中3)不同的谓词序列数量约等于知识库中不同的谓词数量不带来成倍增长。将名字序列和编号序列的向量进行按位置相加我们得到了单个谓词序列的向量表示 .5.3.2.2 问句编码 对问句的编码需要考虑全局和局部两个层次其目的是捕捉问句中与某特定语义成分 p 相关的语义信息。对问句全局语义的编码输入信息为问句词序列。我们利用同一 个词向量矩阵 将词序列向量化得到 。将该输入通过双向 GRU 层[140]并将前向序列和后向序列的最后一个隐藏状态进行拼接作为整个词序列的语义向量 . 为了对表示问句的局部语义核心在于提取与特定语义成分对应的信息。我们在模型中利用依存语法分析寻找答案与语义成分中的实体之间的依赖关系。由于在问句中wh- 词用于指示答案因此我们抽取依存语法树中连接 wh- 词和实体所对应短语的路径该路径有且仅有一条。与[139]类似在依存语法树上的一条路径包含了词以及词之间带有方向的依存弧。例如图5–3中的句子答案 “ what ” 与实体 “ United States ” 之 间的依存路径为 。我们使用另一个具有不同参数的双向 GRU 层对依存路径进行编码生成向量表示 其中包含了语法层面的以及与语义成分 p 直接相关的特征。最后我们同样将句子在两种粒度上的向量进行按位置相加得到整个问句对应特定语义成分的向量表示 .5.3.2.3 语义合并给定具有 N 个语义成分的查询图 , 每个语义成分已经被投影至同一个连续语义空间上的不同向量体现了不同方面的隐藏特征。受卷积神经网络应用于二维图像处理所启发图像整体的特征表示取决于是否存在某些局部区域其样式与对应隐藏特征相吻合而忽略这些局部区域的相对位置。考虑到复杂查询图内部的多个语义成分是并列的互相之间并无次序之分因此模型对语义成分的向量表示进行最大池化 Max Pooling 获得整个查询图的组合语义表示。相应地针对每个语义成分所对应的问句语义表示我们同样进行最大池化操作将多个语义向量合并为问句的整体表示。最后我们利用余弦相似度计算问句和整个查询图之间的语义相似程度(5-1)基于以上框架本节提出的的语义相似度模型能尽可能使问句与单个语义成分具有可比性同时捕获查询图不同部分之间的互补语义特征。5.3.3 实体链接扩充 S-MART 实体链接器[54]在本模型中类似于一个黑箱不具有操控性并且生成的结果倾向于高准确率而牺牲了一定召回率。为了在实体链接步骤寻找一个更好的准确率与召回率间的平衡我们提出了一个基于集成的方式对实体链接结果进行扩充。首先我们通过维基百科建立一个大的 词组实体 对应表每个实体和如下词组相对应1) 实体页面的标题2) 实体所在的重定向、消歧义页面标题3) 实体在其它实体页面提及的链接文字即锚文本 Anchor Text 。之后每一对 词组实体 都关联上一组统计特征包括实体的链接概率、词级别的 Jaccard 相似度、三连字符级别的 Jaccard 相似度、实体在维基百科中的热门度、实体在知识库中的热门度。最终我们使用一个双层全连接的线性回归模型将所有出现在 S-MART 链接结果中的词组实体对作为模型训练数据用来拟合每一对的 S-MART 链接分值。模型训练完毕后词组实体对应表中的每一对条目都将计算出一个虚拟的链接分值。对于每个问题我们挑选出不在 S-MART 已有结果中且分数排在前 K 位的条目作为实体链接结果的扩充阈值 K 为模型超参数。5.3.4 问答系统整体训练及预测 为了从一系列候选中预测最佳查询图我们用 S( q, G ) 表示问句 q 和查询图 G 之间的整体关联分值。前一小节的语义匹配模型关注谓词路径层面的相似性而整体关联分值还涉及到更多维度的特征例如实体链接的置信度以及查询图本身的结构特征。所以 S( q, G ) 为一系列实体链接、语义匹配、查询结构层面上的特征进行加权求和而得。表5–1为完整的特征列表实体链接特征为链接分数之和以及每个链接的来源 S-MART 或链接扩展语义匹配特征即神经网络的输出 查询图结构特征为不同类别限制的数量、主路径长度以及输出的最终答案个数。我们利用最大间隔损失函数进行模型训练尽可能较好查询图 和较差查询图 之间的分数差距 (5-2)由于问答数据集通常只包含正确答案而不标注查询图我们依据查询图生成的答案对应的 分数区分正负样本。对于每一个 分数高于一定阈值设定为 0.1的查询图 我们将其视为正样本 并从候选集中随机选择最多 20 个具有更低 的查询图作为 组成不同的样本对。表5–1 预测最佳查询图所使用的特征。 5.4 实验 本节主要介绍我们所使用的自动问答数据集以及用于比较的已有问答模型。具体实验包括在多个数据集上的端到端测试以及一系列切除测试用来分析方法中不同模块的重要性。5.4.1 实验设置 自动问答数据集我们在实验中使用了三个开放领域的数据集分别为 ComplexQuestions [43], WebQuestions [40] 以及SimpleQuestions [47],对应缩写为 CompQ WebQ 和 SimpQ 。CompQ 数据集来源于 Bing 搜索引擎日志一共包含 2,100个具有复杂语义的问题以及人工标注的答案前1,300个问句为训练集后800为测试集。WebQ 数据集收集了 5,810 个通过 Google Suggest API 抓取的问题以及对应的人工标注答案约有 15% 的问句为复杂语义同样数据集被分为 3,778 句训练集以及 2,032 句测试集。 SimpQ 一共包含 108,442 个具有简单语义的问句以及标注的答案答案形式为相关实体谓词对我们主要利用该数据集进行补充实验验证回答复杂问题的模型在简单语义场景中的性能。对于其它自动问答的数据集例如 QALD由于测试集数量过小 我们没有在这之上进行实验。知识库对于在 CompQ 和 WebQ 上进行的实验我们跟随文献 [40, 139]的实验设置使用完整版本的 Freebase 作为知识库共包含约 46,000,000 个不同实体以及 5,323 种不同谓词。同时通过开源图数据库Virtuoso 对 Freebase 进行访问与查询。对于 SimpQ 上进行的实验我们使用数据集中提供的 FB2M 知识库它是 Freebase 的一个 子集包含大约 2,000,000 个实体和 10,000,000 个事实三元组。 模型实现及调参细节 对本节中的所有实验我们使用基于 GloVe[59] 预训练的词向量作为模型词向量矩阵的初始化。词向量维度以及双向 GRU 层的隐藏状态维度均设为300。损失函数中的 λ 的调参范围为{ 0.1,0.2,0.5 }实体链接优化的集成阈值 K 范围为{ 1,2,3,5,10,INF }训练批量大小 B 范围为{ 16,32,64 }.5.4.2 端对端实验比较我们首先对 WebQ 和 CompQ 数据集进行端到端测试。实验所使用的评价指标为所有测试问题的平均 分数。Berant 等人[40]提供的官方评测代码通过预测答案和标准答案的完全字面匹配计算每个问题的 分数对于 CompQ 数据集其中标注的实体名称和 Freebase 内实体名称存在大小写不一致的情况因此我们参照 Bao 等人[43]的做法计算 分数时忽略大小写。通过对验证集进行调参WebQ 数据集的实验参数为 λ0.5B32K3CompQ 数据集的参数为 λ0.5B32K5。 表5–2列出了在两个数据集上的具体实验结果。Yih 等人[42]在 CompQ 上的实验结果基于 Bao 等人[43]对其模型的实现。在 CompQ 数据集上我们提出的神经网络模型超过了其它已有方法将平均 分数提升了1.9而在 WebQ 数据集上与大量已有工作进行对比我们的模型排在第二位文献[141]基于记忆网络模型成为分数最高的系统其方法并不基于语义解析无法直观解释一个答案是基于怎样的语义而生成并且问答过程涉及的隐含语义与单一谓词路径相似难以应对类型、时间、顺序等语义限制。需要指出的是Xu 等人[139]利用维基百科的非结构化文本进行候选答案的验证过滤掉满足主路径语义但不匹配剩余语义的答案。由于此方法引入了大量由人工社区提供的额外知识它达到了一个略高于我们方法的分数53.3但将此步骤去掉之后模型分数跌落至47.0。此外文献[42, 43]额外使用了 ClueWeb 数据集[142]学习谓词与自然语言词组之间的语义匹配关系。根据 Yih 等人公布的比较结果把这一部分信息移除之后WebQ 数据集上的 分数将下降了约0.9。此外结果显示扩充实体链接可以进一步提升问答系统的整体性能在两个数据集上都获得了大约0.8的提升是对语义匹配模型的一个良好补充。我们认为和其它使用了 S-MART 链接工具的问答系统相比我们的结果可以与之直接比较这是因为 S-MART 的算法同样基于维基百科的半结构化信息进行学习例如重定向链接、消歧义页面、锚文本等信息实体链接扩充的步骤没有并没有引入额外的知识因此可以直接比较。表5–2 CompQ 和 WebQ 数据集上的实验结果评价指标为平均 分数 针对语义匹配本身我们在 SimpQ 数据集上进行了测试。由于 SimpQ 提供了标注的相关实体我们可以消除实体链接步骤带来的差错单独衡量语义匹配的性能。我们根据相关实体的名字倒推出它在问句中对应的短语将其替换为 E 之后预测问句所表达的知识库谓词使用准确率作为评价指标。表5–3列出了具体的实验结果。相关文献主要针对简单问题尝试了许多模型变种例如文献[93]的准确率最高该模型利用循环神经网络对问句语义进行建模同时利用卷积神经网络从问句和谓词名称的词级别二维相似度矩阵中学习隐藏匹配样式。文献[49]使用了双层双向 LSTM 网络对问句进行编码并在两层中使用残差连接方式捕捉不同粒度的语义。我们的语义匹配准确率略低一些考虑到重点在于多个语义成分的组合而不是回答简单问题我们的模型更加轻量同时93.1%的准确率也确保了模型的有效性。表5–3 SimpQ 数据集上的语义匹配测试结果 5.4.3 模型分析 本节主要对模型的各个主要进行分析测试并讨论模型回答错误的一些例子。5.4.3.1 谓词路径表示我们改变模型对谓词路径的编码方式并在 CompQ 和 WebQ 上进行分析测试。首先对于谓词名字序列我们尝试使用双向 GRU 层和问句编码部分结构一致但不共享参数拼接隐藏状态的方式替代词向量平均。对于谓词编号序列我们将对路径整体编码方式改为谓词向量的平均。实验结果如表5–4所示。观察发现前三行的基线方法移除了名字序列或编号序列 在两个数据集上的 分数明显低于后三行的方法。这说明了谓词的名字序列和编号序列所提供的语义可以互相补充。另一方面对比最后两行实验在 CompQ 数据集上对名字序列使用词向量平均要优于使用双向 GRU而在 WebQ 上这个差距变得更小我们认为原因主要来自于训练数据量的区别WebQ 的训练集大小约为 CompQ 的三倍 因此可以支持更复杂的模型。表5–4 对谓词表示的分析结果。 5.4.3.2 问句表示及语义组合为了说明语义组合的有效性我们建立一个基线模型不使用公式5–2对应的最大池化操作替代方式是分别计算每个问句表示和每个语义成分之间的相似度并将各部分相似度分值相加作为查询图与问句的整体相似度 。对于问句的编码方式我们进行一系列比对实验观察不使用字面序列或依存语法路径对整体性能带来的影响。 表5–5显示了在 CompQ 和 WebQ 上的具体比较结果。相比仅使用问句字面信息的模型当依存语法分析提供的路径信息被使用后问答系统整体性能平均提升了0.42。 在隐藏语义的角度答案和相关实体之间的依存语法路径主要包含了词之间的语法依赖以及每个词的功能化特征是对整个问句序列信息的良好补充。然而如果对问句编码只使用依存语法信息 分数会大幅度下降约2.17。对于具有特殊语法结构的问题如果仅关注疑问词和实体短语间的路径会使得模型丢失句中表达语义的关键词 例如以下两例“ who did draco malloy end up marrying ”以及“who did the philippines gain independence from ” 其中相关实体用斜体标出代表语义的关键词为粗体。经过观察发现WebQ 中大约有 5% 的问句具有类似的结构在丢失关键语义信息后很难预测出正确的查询图。表5–5 问句表示和语义组合的分析测试。语义组合的比较结果显示模型中使用的最大池化操作要一致优于对应的基线方法。在 WebQ 上的提升要低于 CompQ 主要原因是 WebQ 中约85%的问句依然是简单语义形式无法体现语义组合的区别。移除依存语法信息和池化操作的模型可以视为一个基础的利用深度学习改善语义解析的问答模型。在复杂语义场景中局部信息和语义组合的引入两者结合使得 CompQ 数据集上效果提升1.28。我们通过以下例子进一步阐述模型中语义组合带来的优势。给定问句 “ who is gimli’s father in the hobbit ”由于“ gimli ”的实体链接结果中既存在自然人也存在名字一样的虚拟角色我们主要关注下面两个可能代表真实语义的查询图 1. 2.两个查询图涉及到三个不同的语义成分如果独立观察其中每一个语义成分谓词 children 与问句整体的匹配程度最高因为 “ father ” 一词包含了很强的语义信息训练数据中也包含较多 “ ’s father” 和 children 的关联因此它们的关联特征容易被学习。 相比之下fictional_children 过于生僻而 appear_in 与“ father ”无关联这两个语义成分的相似度远不如 children因此基线模型认为第一个查询图更加正确。而我们的模型中不同语义成分的隐藏特征通过池化方式汇集起来分别将各自突出的隐藏语义传递出去构成查询图整体的语义向量。与单独的 children 语义向量相比查询图整体语义能兼顾与“ ’s father ”以及“ in the hobbit ”匹配因此模型能正确预测第二个查询图为答案。5.4.3.3 错误分析 我们从 CompQ 数据集中完全回答错误的问题中随机挑选100个例子进行分析并归纳出下列几类错误原因。 主路径错误(10%)模型完全没有理解问句语义哪怕最主要的语义也没有预测出来。这类错误对应的问题通常较难回答例如“ What native american sports heroes earning two gold medals in the 1912 Olympics ”。 语义限制错误(42%)模型预测的查询图中包含正确的主路径但其余语义限制存在偏差。比较典型的一类限制是隐含时间限制例如问句 “ Who was US president when Traicho Kostov was teenager ” 无法准确回答因为 “ when Traicho Kostov was teenager ” 暗示了时间限制受限于候选生成方法这类限制无法被识别。 实体链接错误(16%)这类错误的主要原因是问句中的一些实体词组具有高度歧义。例如问句 “ What character did Robert Pattinson play in Harry Potter ” 而 “ Harry Potter ” 可以对应7部不同的电影因此很难猜测问句中指的是哪一部。 杂项 (32%)包含了一些较明显的答案标注错误以及问题本身语义不明确或不合逻辑。例如问句 “ Where is Byron Nelson 2012 ” 根据标注答案可以帮助确定问句中 “ Byron Nelson ”的具体所指然而此人已于2006年去世因此该问题的真实意图难以捉摸或许提问者想问的是他的逝世地点或葬于何处。5.5 小结 本章讨论了面向复杂语义的知识库自动问答任务其难点在于复杂问句中包含多个关系并不能转换为知识库上的简单三元组查询。我们沿用关系理解中的模式图思路提出了基于复杂查询图的语义解析模型以解决复杂问句的语义结构表示和语义匹配计算。据我们所知我们的工作是首次通过神经网络模型学习查询图整体的连续语义表示相对于已有工作整体语义表示通过池化操作聚合查询图中不同语义成分的特征以捕捉其中的语义相近、互补等交互。与此同时我们研究了提升问答效果的多种 不同的方法主要包括候选查询图生成的时间、类型限制优化引入依存语法信息捕捉与特定语义成分的局部匹配以及利用集成方法扩充实体链接结果提高候选查询图的召回率。我们在三个广泛使用的问答数据集上进行了测试在全部由复杂问题组成的 ComplexQuestions 中我们提出的模型取得了目前最好的效果并且显著优于已有模型 在主要由简单问题构成的 WebQuestions 以及全部为简单问题的 SimpleQuetions 中基于复杂查询图的模型依然拥有竞争力领先于绝大部分已有模型同时语义匹配模型具有轻量级、参数少等优势证明了其有效性。后续的研究主要包括了对更多种语义限制的挖掘例如隐含时间限制即问句中不出现具体的时间而是以从句形式描述与该时间相关的事件。一些研究工作对问句进行从句提取的方式先回答从句部分再将时间答案代回主句进行第二次回答。为了减少对问句进行特殊处理的步骤我们会研究如何将隐含时间限制的挖掘纳入现有的查询图框架中进一步提升问答模型效果和适用性。 第 6 章 总结与展望6.1 论文工作总结与主要贡献自然语言理解是人工智能的重要分支。如何让机器理解人类语言的含义是一系列任务的研究重点尤其是对于问答系统、阅读理解、多轮对话等下游任务它们都依赖于机器对语义的充分认知。伴随着互联网中海量结构化信息积累知识库的诞生和相关技术的发展给自然语言理解提供了一种有效的解决方案即以知识库中的实体、类型和谓词为载体描述自然语言中的实体、实体间的关系甚至蕴含多个关系的复杂句子。 在此背景下本文对基于知识库的自然语言理解分为三个递进的层面即实体理解、关系理解和问句理解。针对这三个层面理解问题本文展开了一系列研究并提出了具有针对性的语义匹配模型。实体理解的目标是将自然语言文本中表示实体的短语映射至知识库的对应实体是一种直接匹配的过程。本文进行了中文到英文的跨语言场景中对表格文本进行链接的研究。表格链接过程中同行列的实体具有明显的相关性这是传统实体链接任务所不具备的特性也是链接模型的关注重点。而知识库和链接文本不在同一个语言中使得模型无法利用任何字面上的相似信息这给链接任务带来了更多挑战。本文是学术界首次研究跨语言的表格链接任务本文提出了基于跨语言词向量和深度神经网络的链接模型目标在于克服翻译步骤带来的错误传播以及自动学习不同粒度的语义匹配特征。具体而言本文提出的方法贡献如下 1. 候选实体生成中利用多种翻译工具进行过渡并保留足量候选将黑盒翻译工具出错的影响尽可能降低 2. 训练跨语言词向量使得中英文单词、实体的特征表示在连续语义空间中互通 保证在不依赖字面相似特征和共现统计特征的情况下实现高质量的链接 3. 定义了三种语义匹配特征即单个单元格到实体的指示特征单元格行列信息到实体的上下文特征及同列实体之间的一致性特征通过神经网络对三类特征进行表示学习并提出了逐位方差进行一致性特征计算的方式 4. 模型遵循联合训练框架以整张表格级别的匹配程度作为目标函数并利用基于成对排序损失的 RankNet 进行训练充分利用负样本表格生成产生的偏序关系 5. 实验表明本文提出的模型在跨语言表格链接任务中明显优于其它基线模型同时模型对一致性特征的建模以及联合训练框架均带来实质性的帮助。 关系理解的目标是将自然语言中的二元关系通过知识库中的谓词进行表示。相对于实体理解的直接匹配过程关系理解较难做到二元关系和谓词的一一对应一方面在 于关系的多义性更重要原因在于知识库和自然语言之间存在语义间隔使得一些语法简单的关系在知识库中却对应复杂的语义。基于这两个不同的挑战本文对二元关系进行了两种不同粒度的研究。粗粒度的关系语义研究中本文旨在分析关系在大跨度上的多义性挖掘关系的主语和宾语所具有的不同类型搭配。本文提出了挖掘关系具有代表性类型搭配的方法其思路在于尽可能使用具体的类型匹配更多的已知关系三元组主要贡献列举如下 1. 提出了一种主宾语联合进行实体链接的方式利用关系名称和主宾语间谓词路径存在的关联特征提升整体链接准确率 2. 去除关系名称中不影响类型搭配的成分并利用语法变换将相似语义关系归为一组使长尾关系能够被有效利用 3. 利用松弛类型包含构建更丰富的知识库类型层次关系并可用于其它任务中 4. 人工测评实验表明本文提出的方法可以改善互信息模型对热门类型搭配的惩罚情况同时推理出的代表性的类型搭配也具有不错的质量。 细粒度的关系语义研究中本文旨在深入挖掘关系语义的精确表达定义了具有树形结构的模式图它是知识库中满足特定语义的子图的抽象表达同时具有良好的可解释性。本文提出了基于复杂模式图的规则推导模型由已知关系三元组出发挖掘语义相近的候选模式图并学习它们的概率分布从而以结构匹配的形式描述关系语义并运用于知识库补全任务中。本文提出的方法贡献如下 1. 定义了具有 “路径 分支” 结构的模式图它是对传统规则推导模型中基于谓词路径形式的规则扩展对复杂语义关系具有更强的表示能力2. 利用深度优先搜索采集不同的模式图并通过优先队列实现搜索过程的高效剪枝在获取和关系语义较为接近的模式图同时维持不同模式图间的多样性 3. 将二元关系语义表示为候选模式图上的概率分布可以更好地应对关系的多义性同时任何一个查询图自身都具有独立的描述能力使人类易于理解 4. 模式图概率通过生成模型学习实现了宽泛和具体模式图之间的平衡 5. 多个自然语言关系的模式图实例表明基于模式图的结构有能力准确描述复杂关系语义并且质量显著好于其它基于路径的规则推导模型 6. 本文提出的模型能有效运用于知识库补全任务中在主宾语预测和三元组分类两个子任务上效果优于其它规则推导模型以及新兴的知识库向量模型。 问句理解的目标是学习问句和答案之间的推理匹配。本文关注于通过知识库回答客观事实类问题由于单个问句可能包含未知答案和其它实体的多个关系和语义仅对应单个谓词的问句相比复杂问句的回答更具有挑战性体现在如何对复杂问句进行语义描述以及如何度量和问句的语义匹配程度。针对以上挑战本文提出了面向复杂语义问句的问答模型。对于问句的语义表示本文沿用关系理解中的模式图思路由问句出发生成可解释性高的查询图以表示答案实体与问句中多个相关实体、类型、时间等信息的关联。同时模型通过神经网络训练问句与查询图的匹配程度为复杂查询图整体学习连续空间中的特征表示捕捉不同成分间的语义交互。具体贡献如下1. 沿用模式图思路利用多阶段生成方式构建问句的候选查询图并在前人基础上对类型语义限制和时间语义限制进行改进2. 提出了一个轻量级的神经网络模型以计算问句和查询图的语义匹配程度据我们所知这是知识库问答研究中首次尝试学习复杂查询图整体的连续语义表示 3. 对问句的表示学习引入依存语法路径作为问句字面序列信息的补充以体现问句与特定语义成分的关联 4. 通过集成方法对已有实体链接工具的结果进行扩充在链接准确率不受较大影响的前提下提升候选查询图的召回 5. 本文提出的模型在复杂问题数据集上取得了最优的效果在简单问题数据集上依然保持竞争力更多对比实验显示学习查询图整体的连续特征表示有助于提升问答系统的效果。6.2 未来工作展望由于时间关系本文的工作中还存在一些没有得到解决的问题列举如下1. 表格链接以及关系三元组的实体链接中都存在着无法链接到具体实体的短语。除了较容易识别的数字、时间以外考虑到知识库并不完整部分实体尤其是人名不存在于知识库中此时模型需要识别出这样的短语而不是强行链接。我们对表格链接的任务定义绕开了此问题而对三元组的实体链接则忽略了这种情况这是一个需要改进的方向。2. 关系三元组的链接方式较为粗糙采用了主谓宾各自匹配度连乘的方式并没有使用模型训练各部分权重。4.1.2节提到的集成链接方案并不是最优的解决办法未来将利用神经网络表示三元组各自成分的链接特征从而提升这一步骤的准确率。3. 知识库问答研究中我们尝试使用注意力层[63]取代依存语法序列让语义匹配模型自动学习和特定谓词最相关的问句短语但实验显示注意力层对问答指标几乎没有改进。一个可能的解释是输入的问句长度大多在10左右而不是类似一段话的形式因此注意力模型效果不明显。在今后的研究中会在这个问题上继续调研。此外在未来的研究工作中我们以问句理解为核心关注以下两个主要研究问题。关系理解和问句理解具有很高的相关性。给定问句中的二元关系若已知其主宾语类型搭配那么对于候选查询图而言答案类型与类型搭配的查询图更有可能表示了正确的语义。类似地二元关系所对应的模式图也可指引问句查询图的排序提供额外的匹配特征。我们在过去的工作中对主宾语类型搭配与自动问答的结合进行了一定的尝试但效果提升有限除了类型搭配本身出现偏差将问句与特定二元关系的对应是另一个瓶颈。基于语法转换的方式进行映射过于确定由于用户提问可能不具有严谨的语法可能需要使用更加灵活的方式实现这一对应。在未来的研究中我们将尝试由陈述句出发生成疑问句并引入一定的非严谨语法形式以此构建训练数据学习更加准确 的问句到二元关系的映射。在现有的问答模型中候选结构的生成过程是一次性的对于测试问句必须先生成所有查询图再从中挑选最匹配的结构。为了保证候选生成速度搜索规模需要受限例如主路径长度限制为2对于某些特殊问句则无法生成出正确的查询图。因此一种可能的改进方式是将查询结构的生成看做序列通过使用序列到序列模型以问句为输入输出查询图的生成序列。Golub 等人[92]使用了这样的模型用于回答简单问句 而 Jain [141]使用记忆网络模型在 WebQuestions 上取得了最佳的效果其模型的多层设计暗含了谓词的多步跳转。对于复杂问句虽结构复杂但多阶段生成过程很容易转换成序列形式如何将复杂语义结构与序列到序列模型结合是未来的一个研究方向。参考文献文中提及的部分参考文献在01#02#03#—END—了解更多信息请点击知识工场网站主页http://kw.fudan.edu.cn/合作意向、反馈建议请联系info.knowledgeworksgmail.comOpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
