深圳专业网站建设制作,门户网站界面设计模板下载,临沂设计网站的公司,北排建设公司官网1、了解迁移学习中的有关概念
1.1、预训练模型#xff08;pretrained model)
一般情况下预训练模型都是大型模型#xff0c;具备复杂的网络结构#xff0c;众多的参数量#xff0c;以及在足够大的数据集下进行训练而产生的模型。在NLP领域#xff0c;预训练模型往往是语…1、了解迁移学习中的有关概念
1.1、预训练模型pretrained model)
一般情况下预训练模型都是大型模型具备复杂的网络结构众多的参数量以及在足够大的数据集下进行训练而产生的模型。在NLP领域预训练模型往往是语言模型因为语言模型的训练是无监督的可以获得大规模语料同时语言模型又是许多典型的NLP任务的基础如机器翻译、文本生成、阅读理解等。常见的预训练模型有BERT,GPT,roBERTa,transformer-XL等。
1.2、微调Fine-tuning)
根据给定的预训练模型改变它的部分参数或者为其新增部分输出结构后通过在小部分数据集上训练来使整个模型更好的适用特定任务
1.3、微调脚本(Fine-tuning script)
实现微调过程的代码文件。这些脚本文件中应包括对预训练模型的调用对微调参数的选定以及对微调结构的更改等。同时因为微调是一个训练过程她同样需要一些超参数的设定以及损失函数和优化器的选取等因此微调脚本往往也包含了整个迁移学习的过程。
1.4、关于微调脚本的说明
一般情况下微调脚本应该由不同的任务类型开发者自己编写但是由于目前研究NLP任务类型分类、提取、生成以及对应的微调输出结构都是有限的有些微调方式已经在很多数据集上被验证有效的因此微调脚本也可以使用已经完成的规范脚本
2、两种迁移方式
直接使用预训练模型进行相同任务的处理不需要调整参数或模型结构这些模型开箱即用。但是这种情况一般只适用于普适任务。如fasttest工具包预训练的词向量模型。另外很多预训练模型开发者为了达到开箱即用的效果将模型结构分各个部分保存为不同的预训练模型提供对应的加载方法来完成特定目标。
更加主流的迁移学习方式是发挥预训练模型特征抽象的能力然后再通过微调的方式通过训练更新小部分参数以此来适应不同的任务。这种迁移方式需要提供小部分的标注数据来进行监督学习。
说明
直接使用预训练模型的方式已经在fasttext的词向量迁移中学习。
3、NLP中标准数据集
NLP中GLUE标准数据集合的介绍
GLUE是由纽约大学华盛顿大学google联合推出涵盖不同NLP任务类型截至至2020年1月其中包含11个子任务数据集成为衡量NLP研究发展的衡量标准。
GLUE数据集包含以下数据集
CoLA 数据集SST-2 数据集MRPC 数据集STS-B 数据集QQP 数据集MNLI 数据集SNLI 数据集QNLI 数据集RTE 数据集WNLI 数据集diagnostics数据集(官方未完善)
下载数据集
