网站tdk优化,潍坊专业人员继续教育,邯郸做移动网站报价,农安县住房和城乡建设厅网站清华大学驭风计划
因为篇幅原因实验答案分开上传#xff0c;自然语言处理专栏持续更新中#xff0c;期待的小伙伴敬请关注
有任何疑问或者问题#xff0c;也欢迎私信博主#xff0c;大家可以相互讨论交流哟~~
案例简介 2018年#xff0c;Google提出了预训练语言模型BE…清华大学驭风计划
因为篇幅原因实验答案分开上传自然语言处理专栏持续更新中期待的小伙伴敬请关注
有任何疑问或者问题也欢迎私信博主大家可以相互讨论交流哟~~
案例简介 2018年Google提出了预训练语言模型BERT该模型在各种NLP任务上都取得了很好的效果。与此同时它的使用十分方便可以快速地对于各种NLP任务进行适配。因此BERT已经被广泛地使用到了各种NLP任务当中。在本案例中我们会亲手将BERT适配到长文本关系抽取任务DocRED上从中了解BERT的基本原理和技术细节。关系抽取是自然语言处理领域的重要任务DocRED中大部分关系需要从多个句子中联合抽取因此需要模型具备较强的获取和综合文章中信息的能力尤其是抽取跨句关系的能力。BERT BERT是目前最具代表性的预训练语言模型如今预训练语言模型的新方法都是基于BERT进行改进的。研究者如今将各种预训练模型的使用代码整合到了transformers这个包当中使得我们可以很方便快捷地使用各种各样的预训练语言模型。在本实验中我们也将调用transformers来使用BERT完成文档级别关系抽取的任务。基于transformers的基础后我们的主要工作就是将数据处理成BERT需要的输入格式以及在BERT的基础上搭建一个能完成特定任务的模型。在本次实验中我们的重点也将放在这两个方面。首先是对于数据的处理对于给定的文本我们需要使用BERT的tokenizer将文本切成subword然后转换成对应的id输入进模型中。通常来说这个过程是比较简单的但是针对于DocRED这个任务我们需要有一些额外注意的事情。文档级关系抽取的目标是从一段话中确定两个实体之间的关系为了让模型知道我们关心的两个实体是什么我们需要在文本中插入四个额外的符号将实体标注出来。与此同时BERT模型是一个语言模型为了能使其适配关系抽取任务我们需要加入额外的神经网络使得模型能够进行关系预测。通常来说这个神经网络就是将文本中的第一个字符拿出来输入到一个线性层中进行分类。
数据和代码 本案例使用了DocRED的数据并提供了一个简单的模型实现包括数据的预处理、模型的训练、以及简单的评测。数据预处理的代码在gen_data.py里。在处理完数据之后再运行train.py进行训练训练流程的代码在config/Config.py里。注意由于预训练模型很大因此需要调整batch size使得GPU能够放得下于此同时为了提高batch size的绝对大小可以使用[梯度累积](https://www.jiqizhixin.com/articles/2018-10-17-11)的技术。 以上代码是完整实现好的我们需要同学对gen_data.py和config/Config.py中用# question标识的20余个问题进行回答并运行模型测试模型在有100% / 50% / 10% training data通过随机sample原training set一部分的数据10%代表低资源的设定的情况下模型在dev set上的效果如果服务器资源有限也可以只测试10%的结果并在报告中提及评分要求 分数由两部分组成。首先回答代码文件中标识的问题并且训练模型评测模型在开发集上的结果这部分占80%评分依据为模型的开发集性能和问题的回答情况。第二部分进行进一步的探索和尝试我们将在下一小节介绍可能的尝试。同学需要提交代码和报告在报告中对于两部分的实验都进行介绍主要包括开发集的结果以及尝试的具体内容。探索和尝试 完成对于测试数据的评测并且提交到DocRED的[评测系统](https://competitions.codalab.org/competitions/20717)中。推荐先完成该任务主要考察同学将模型真正应用起来的能力 使用别的预训练语言模型完成该实验例如RoBERTa等。 对于模型进行改进提升关系抽取的能力这里可以参考一些DocRED最新工作进行复现。参考资料 DocRED: A Large-Scale Document-Level Relation Extraction Dataset. ACL 2019.
