灯罩技术支持东莞网站建设,wordpress菜单加粗,上海企业一户式查询,台州网站建设公司原文来源#xff1a;arxiv作者#xff1a;Jeremy Howard、Sebastian Ruder「雷克世界」编译#xff1a;嗯~是阿童木呀可以这样说#xff0c;迁移学习已经促使计算机视觉领域发生了具有革命性的变化#xff0c;但对于自然语言处理#xff08;NLP#xff09;中的现有方法来… 原文来源arxiv作者Jeremy Howard、Sebastian Ruder「雷克世界」编译嗯~是阿童木呀可以这样说迁移学习已经促使计算机视觉领域发生了具有革命性的变化但对于自然语言处理NLP中的现有方法来说仍然需要从零开始对其进行针对于特定任务的修改和训练。我们提出了微调语言模型Fine-tuned Language ModelsFitLaM这是一种有效的迁移学习方法可以应用于NLP中的任何任务并且引入一些关键技术以对现有最先进的语言模型进行微调。我们的方法在五个文本分类任务上的性能表现要明显优于现有最先进的技术在大多数数据集上的实施中能够将误差减少18-24。我们对我们的预训练模型和代码进行了开源设置以便社区采用使该方法具有更为广泛的应用。 迁移学习对于计算机视觉CV的发展起着很大的作用。应用型CV模型包括目标检测、分类和分割很少是从零开始进行训练的而是对已经在ImageNet、MS-COCO和其他数据集上进行预训练的模型进行细微调整得到的Sharif Razavian等人于2014年、Long等人于2015年、He等人于2016年、Huang等人于2017年提出。文本分类是一类常见的自然语言处理NLP任务它涉及许多诸如垃圾邮件、欺诈和机器人检测、应急响应和商业文件分类如法律发现等重要的实际应用。 文本分类中的数据集和任务尽管深度学习模型已经在诸多自然语言处理任务上达到了当前最先进的技术水平但这些模型都是从零开始进行训练的这需要大量的数据集而且需要若干天的时间才能达到收敛状态。对于利用迁移学习的自然语言处理任务来说这已经处于算机视觉领域中较为落后的状态了。对预训练的词嵌入进行微调是一个简单的迁移学习技术它只针对模型的第一层已经在实践中产生了超乎想象的影响力并在大多数当前最为先进的模型中进行使用。考虑到对模型进行预训练的好处我们应该能够比随机初始化模型其余参数这一举措做得更好。当前常用的方法是将来自诸如语言建模或机器翻译等其他任务的嵌入与不同层的输入连接在一起。然而这些方法存在着这样一个问题它们仍然是从零开始对主要的任务模型进行训练并将预训练的嵌入作为固定参数进行处理从而限制了它们的实用性。 在两种文本分类数据集上进行测试所取得的精确度得分情况可以这样说一个成功的NLP迁移学习技术应该能够达到与其计算机视觉技术相对应的类似标准a该方法应该能够充分利用大量的可用数据b它应该利用一个可以独立进行优化的任务从而进一步实现下游的改进c它应该依赖于一个可以应用于大多数NLP任务的单一模型d在实践中应该很容易进行使用。 在三个文本分类数据集上进行测试所达到的误差率%情况我们提出将微调语言模型FitLaM作为NLP的一种有效的迁移学习形式它完全满足上述标准。我们方法使用的是语言建模这是一项几乎具有无限数据量的任务并且能够推动当前最先进技术取得最新进展。它通过预训练能够将大量的外部数据以及域内数据进行集成。FitLaM依赖于一个简单的循环神经网络RNN而不需要对其进行任何的修改。我们只需要使用一个或多个针对于特定任务的线性层对模型进行扩充相较于现有的方法来说它只需要考虑少量的参数。我们提出了一种新的微调技术即判别式微调discriminative fine-tuning它对较低层进行微调以调到一个相较于较高层较低的程度从而保留通过语言建模所获得的知识。我们还介绍了一些技术这些技术示微调能够取得较好性能和进行更快训练的关键所在。我们在五个经过广泛研究具有不同大小和类型的文本分类任务中对我们的迁移学习方法进行了评估实验结果表明相较于以往高度针对于特定任务的研究和当前最先进的方法来说我们方法的性能表现具有显著的优越性。我们所取得的成就大致如下所示1.我们归纳总结了CV和NLP中迁移学习的相似之处并为NLP中有效的迁移学习方法提供了相关的依据。2.我们提出了微调语言模型FitLaM这种方法对于NLP的任何任务来说可以用以实现类似于CV中那样的迁移学习方法。3.我们提出使用判别式微调以保留以往的知识并避免在微调过程中产生严重的遗忘。4.我们引入了一种用于文本分类的基于时间的反向传播Back-Propagation Through TimeBPT3C这是一种新的方法通过线性层将分类器的损失反向传播到任何序列大小的RNN输出中。5.我们引入了一些技术它们是对预训练语言模型进行微调的关键所在。6.我们在五个代表性的文本分类数据集上的性能表现要明显优于现有的文本分类方法其中在大多数数据集的误差减少了18-24。7.我们开源了我们的预训练模型以及相关代码从而希望能够实现更为广泛的应用。我们提出了一种适用于NLP任务的有效迁移学习方法——FitLaM以及一种称之为判别式微调的方法这种有效的微调方法可以对不同层进行不同程度的调整以避免过程中的灾难性遗忘。我们已经引入了于文本分类的基于时间的反向传播BPT3C这种方法能够将分类器的损失反向传播到任何序列大小的RNN输出中除此之外我们还引入了若干起着关键作用的好方法从而能够实现较好的微调性能表现和更快速地进行训练。实验结果表明我们的方法要明显优于现有的迁移学习技术以及用于五个具有代表性的文本分类任务的最新技术。总的来说我们已经证明了用于NLP的迁移学习的优势所在并希望我们的研究结果将能够促进用于NLP的迁移学习能够取得更好的新进展。未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。由互联网进化论作者计算机博士刘锋与中国科学院虚拟经济与数据科学研究中心石勇、刘颖教授创建。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
