珠海网站建设策划方案,网店托管代运营公司,wordpress淘宝客网站模板,南昌市，做网站的公司转载公众号 | 南大Websoft概述近两年来NLP领域出现了一些富有挑战性的机器阅读理解数据集#xff0c;如ReClor和LogiQA。这两个数据集中的问题需要对文本进行逻辑推理#xff0c;然而传统的神经模型不足以进行逻辑推理#xff0c;传统的符号推理器不能直接应用于文本。为了应… 转载公众号 | 南大Websoft概述 近两年来NLP领域出现了一些富有挑战性的机器阅读理解数据集如ReClor和LogiQA。这两个数据集中的问题需要对文本进行逻辑推理然而传统的神经模型不足以进行逻辑推理传统的符号推理器不能直接应用于文本。为了应对这一挑战我们提出了一种神经-符号方法将基本语篇单元用它们之间的逻辑关系组成图并进行推理。我们提出了一个自适应逻辑图网络AdaLoGN可以自适应地根据逻辑关系来扩展图并且在一定程度上实现了神经和符号推理之间的交互和迭代强化。我们还实现了一种子图到节点的图消息传递机制以增强多选题问答中的背景和选项交互并在ReClor和LogiQA上取得了较好的结果。动机 如下图背景文本Context中包含了一系列描述基本语篇单元elementary discourse unit, EDU之间的逻辑关系的文本如第一句话中描述了两个EDU之间的蕴含关系”the company gets project A” - “product B can be put on the market on schedule”。人类能够很自然地将这些命题转换为符号推理然而对于计算机来说却是个有挑战性的任务。我们希望能够融合神经推理和符号推理提升计算机解决逻辑推理问题的能力。方法 我们构建了一个融合神经-符号推理的框架这个框架总体上包括以下几个模块首先将文本划分为单独的EDU并使用预定义好的规则将关系映射到对应的逻辑关系。建立一个文本逻辑图Text Logic Graph并使用RoBERTa编码文本并得到EDU的初始表示。将逻辑推理的过程加入到图神经网络的框架中。我们根据结点的表示使用神经方法判断是否需要根据预定好的规则更改TLG的结构添加额外的边或者结点。实现了通过符号推理逻辑规则增强神经推理图神经网络。在图神经网络的中间层扩充的结果并不会保留到下一层而是在下一层重新推理并扩充能够一定程度上避免错误累积而在上一层更新过的结点表示保留到下一层通过这种机制反过来实现神经推理增强符号推理。为了增强多选题中的背景和选项交互我们提出了子图-结点消息传递机制。将TLG划分为背景子图和选项子图在消息传递过程中每一个结点不仅仅会收到邻居结点的消息还会收到另外一个子图整体的消息这个子图消息是注意力机制指导下的子图结点池化的结果。最后综合原始的背景、问题、选项表示和TLG的图表示预测答案。实验 我们在逻辑推理数据集ReClor和LogiQA上进行了实验评测指标accuracy。 对比多个Baseline取得了更好的结果除了LReasoner(w/ DA)我们认为我们的方法和其它Baselines也能通过LReasoner中的DA数据增强方法获得提升。 消融实验也展现了我们的各个模块的有效性其中no-ext表示没有扩充full-ext表示加入所有候选扩充no-at表示去掉Adjacency transmission规则n2n表示去掉子图-结点消息传递n2n中为背景子图和消息子图中的结点两两之间添加一条双向边。错误分析和未来的改进方向 在错误分析中发现错误集中在以下几类受限于EDU抽取工具的精度出现TLG构建错误。TLG扩充过程中出错导致的错误。使用的命题逻辑不能表示的推理过程需要更高阶的逻辑系统。其它错误可能是因为神经推理。 基于错误分析计划在未来的工作中使用表示能力更强的逻辑系统并设计更好的判断是否需要根据逻辑规则扩充的神经网络结构。论文链接https://arxiv.org/pdf/2203.08992.pdf代码链接https://github.com/nju-websoft/AdaLoGNOpenKGOpenKG中文开放知识图谱旨在推动以中文为核心的知识图谱数据的开放、互联及众包并促进知识图谱算法、工具及平台的开源开放。点击阅读原文进入 OpenKG 网站。
