棉桃剥壳机做网站,网站建设最新资讯,百度一下网址是多少,炒股软件下载论文笔记整理#xff1a;申时荣#xff0c;东南大学博士生。来源#xff1a;PAKDD 2020链接#xff1a;https://arxiv.xilesou.top/pdf/2002.05295.pdf1.介绍#xff1a;事件分类是一个重要的信息抽取任务#xff0c;其目的是根据事件的提及实例对事件类别进行分类。目前… 论文笔记整理申时荣东南大学博士生。 来源PAKDD 2020链接https://arxiv.xilesou.top/pdf/2002.05295.pdf 1.介绍 事件分类是一个重要的信息抽取任务其目的是根据事件的提及实例对事件类别进行分类。目前事件分类的主要方法是基于监督学习的方法。包括依据语义语法特征的分类和依据深度神经网络编码实例特征的分类。 监督学习中的训练数据包括预定义的有限事件类型以及对应的实例集合这种方法存在明显的弊端。当事件类型固定后模型就不可扩展无法处理训练数据中未出现的事件类型。而如果需要针对新的事件类型进行预测就要重新标记数据并重新训练模型。 事件数据的标记需要很大的成本事实上当前的事件抽取更类似于few-shot任务。每个实例依据少量的支撑数据作为证据进行分类这种方法也更接近人类的思维模式。Few-shot的具体做法就是依据带有类别标记的支撑集作为预测依据典型的通过生成原型特征向量和基于度量的分类方法对每个query选择最合适类别进行预测。目前在事件分类领域还没有使用few-shot方法训练模型的先例。 但是目前的few-shot方法在训练过程中只考虑到使用支撑集和查询集之间的匹配关系进行训练这种方法是低效的。由于本身样本的稀少这种方法不能很好的利用支撑集的信息。同时由于支撑集内部的每个实例之间存在差异之前的方法并没有很好的利用这些信息。 于是本文将事件分类抽象为few-shot任务并且在传统的训练方法上增加了支撑集内部的交互来提升训练过程中支撑集数据的利用效率。并且在两个典型的时间抽取数据集上都取得了提升。 2.方法 首先本文将事件分类定义为few-shot任务 其中数据格式如下 K表示了每个类对应的shot数训练实例数t表示了对应的类别标记a表示了每个实例中trigger 的位置s是实例序列句子。 本文的模型包括三个模块实例编码模块、原型模块和分类模块。 实例编码模块包括嵌入预训练的词嵌入和位置嵌入和编码器两个部分组成。其中本位为了对比不同编码器的影响使用了CNN和Transformer两种编码器。 原型模块主要是通过支撑集中某一类所有的句子向量来计算当前类的原型向量。目前有两种主流的原型向量计算方法一种是简单平均所有句向量 另一种是通过注意机制方法 最后是分类模型分类模型通过metric得到实例特征和原型的得分来预测其属于哪个类别 对应的损失函数是 本文使用而来三种度量学习方法进行比较分别是余弦距离欧式距离和CNN生成距离。 此外为了充分利用支持集在训练过程中除了上述的损失之外额外的支撑集为辅助支撑集和辅助查询集并且按照之前的模式计算损失保证使用部分支撑集预测剩余支撑集中的样本的正确性对应损失为 3.实验 作者在ACE2005和TAC KBP两个数据集上进行了实验结果如下 可以看出,增加支撑集内部的交互对实验结果有绝对提升。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
