外贸网站建设有哪些要求,wordpress腾讯云CDN配置,数字图书馆网站建设,wordpress菜单相对地址文 | Harris刘鹏飞博士将近代NLP的研究划归为四种范式 [1] 并把预训练语言模型加持下的Prompt Learning看作是近代自然语言处理技术发展的“第四范式”。当我们使用新范式的方法的时候#xff0c;能够意识到它带来的优异性可能是以某种“人力”牺牲为代价的。而如何让这种人力… 文 | Harris刘鹏飞博士将近代NLP的研究划归为四种范式 [1] 并把预训练语言模型加持下的Prompt Learning看作是近代自然语言处理技术发展的“第四范式”。当我们使用新范式的方法的时候能够意识到它带来的优异性可能是以某种“人力”牺牲为代价的。而如何让这种人力代价降到最低往往就是新范式里需要解决的核心问题 [2]。Prompt Learning刚兴起之时prompts大多是人工设计的为了减少人工后来涌现出一系列用自动化方式获取prompts的研究工作。Soft prompts由于其易用性、易理解性和优异的性能在近一年来获得了广泛的关注。今年四月份谷歌提出Prompt-tuning [3]其为每个任务分配一个可训练的soft prompt并保持预训练模型的参数不变发现在使用较大的预训练模型时Prompt-tuning可以媲美微调整个预训练模型Model-tuning的性能。虽然Prompt-tuning非常有效其仍然面临如下三个问题在使用较小的预训练模型时Prompt-tuning的表现仍旧与Model-tuning的表现有明显的差距在Few-shot的场景下Prompt-tuning的表现并不理想相比于Model-tuningPrompt-tuning的收敛速度较慢需要训练更多的步数幸运的是这些问题都可以通过更好地初始化soft prompts解决一个直观的想法是可以通过预训练模型词汇表中的一些词来初始化比如对于分类问题就可以用类别标签对应的词来初始化。但是类别标签词数目有限而且并没有很多任务相关的信息。一个更好的方法是用在源任务上训练的soft prompts来初始化目标任务的soft prompts这个想法有点类似迁移学习的意思。迁移学习通俗来讲就是运用已有的知识来学习新的知识。核心是找到已有知识和新知识之间的相似性。迁移prompts也类似如果源任务与目标任务越相似那么迁移的效果可能就越好。针对prompts的可迁移性问题谷歌和清华的研究员们进行了初步的探索笔者接下来为大家一一解读。想要快速浏览 takeaway 干货的读者可以直接移步文末总结部分。相关论文PPT: Pre-trained Prompt Tuning for Few-shot Learning https://arxiv.org/abs/2109.04332SPoT: Better Frozen Model Adaptation through Soft Prompt Transfer https://arxiv.org/abs/2110.07904On Transferability of Prompt Tuning for Natural Language Understanding https://arxiv.org/abs/2111.06719PPT: Pre-trained Prompt Tuning for Few-shot Learning清华研究人员发现在Few-shot的场景下即便使用非常大的预训练模型相比于Model-tuningPrompt-tuning的表现仍要差得多。受预训练模型的启发他们想对prompts也进行预训练他们关注的是分类任务并把分类任务分成了三类单句分类任务、句对分类任务和多项选择分类任务。之后他们针对每一类都设计了一个自监督预训练任务然后用预训练任务的prompts去初始化下游任务的prompts。此外他们还提供了一个unified的版本将所有的分类任务都看作是多项选择分类任务。从上图可以看到在Few-shot的场景下PPT比Prompt-tuning (图中Vanilla PT) 的表现明显要好。相比于Model-tuning (图中FT)PPT在所有中文任务上都取得了更好的表现并在英文任务上取得了类似的性能。上述结果充分显示出预训练prompts在Few-shot场景下的有效性。但是当训练数据增多时其优势就会越来越小见下图SPoT: Better Frozen Model Adaptation through Soft Prompt Transfer不同于PPT需要人工设计预训练任务SPOT用一个或多个源任务训练的prompts来初始化目标任务的prompts。SPOT在预训练模型比较小时仍可以达到与Model-tuning相近的性能显著超越Prompt-tuning 见下图此外SPOT关注的是full-data场景研究人员发现即便当目标任务的数据充足时选择合适的源任务训练的prompts仍能够对目标任务带来显著的增益。下图是用不同源任务的实验结果多个任务是采用数据混合的方式进行训练然后得到一个prompt。在GLUE的八个任务上训练的prompt在GLUE和SuperGLUE的多个下游任务上得到了最好的表现。值得关注的是使用单个任务如MNLI和SQUAD训练的prompt也带来了明显的提升。为了探究源任务到目标任务的prompt可迁移性受什么因素影响作者用16个源任务和10个目标任务构造了160个任务对。对于每一对任务用源任务训练得到的prompt去初始化目标任务的prompt。他们发现任务之间的相似度是一个重要的影响因素。作者假设不同任务prompts之间的相似度可以反映任务之间的相似度。这样的话给定一个目标任务就可以去检索相似的源任务用这些源任务来帮助模型执行目标任务。有如下几种方式Best of top-k: 依次使用top-k源任务的prompts去初始化目标任务的prompt然后选择表现最好的那个Top-k weighted average: 用top-k源任务的prompts的线性加权去初始化目标任务的prompt权重就是各个任务与目标任务的prompts的相似度Top-k multi-task mixture: 混合top-k源任务的数据进行训练得到一个prompt去初始化目标任务的prompt几种不同策略的实验结果见下图可以看到使用不同的策略相比于baseline即随机初始化都能够得到显著的提升。On Transferability of Prompt Tuning for Natural Language Understanding相比于之前的两篇工作这个工作定义了更多的衡量prompts之间的相似度的指标。作者还探究了prompts的zero-shot transfer的能力即在源任务上训练的prompts直接用到目标任务上而不用目标任务的数据finetune选择合适的源任务可以比使用随机prompts得到明显更好的表现见下图此外使用合适的源任务目标任务Propmt-tuning的收敛速度明显加快见下图总结与展望基于之前三篇研究工作我们可以得到如下结论好的初始化对Prompt-tuning十分重要可以解决Prompt-tuning的三大问题。Prompt transfer是初始化目标任务prompts的一种非常有效的方式。源任务与目标任务之间的相似度是迁移有效性的一个重要因素。可以利用任务的prompts之间的相似度来估计任务的相似度。值得注意的是这些实验结果都只是显示了一种趋势更高的相似度并不能保证更好的迁移。通过为多个源任务训练prompts可以得到一个prompts库对于某个目标任务就可以检索一个或者是多个源任务的prompts去初始化目标任务的prompt。目标任务的prompt可以通过训练一定步数得到不一定要等到收敛检索可以通过prompts的相似度去进行排序也可以通过源任务的prompts在目标任务上zero-shot transfer的表现去排序。如果使用多个源任务的prompts有多种方式例如逐个使用选最好或者是加权平均。更复杂的方式可能获得更好的性能。PPT在目标任务训练数据较多时提升有限而SPOT仍能有显著的提升。这可能是因为预训练任务与下游任务之间仍旧有显著的差距更合适的源任务可能是更好的选择。基于此我们有如下展望如果可以将一个任务分解成多个子任务那么是否可以训练多个子任务的prompts然后用这些子任务的prompts去得到原任务的prompt比如任务型对话系统有多个模块并不是每个数据集都有所有模块的标注通过这种方式就可以利用几乎所有现存的数据集每个prompt只需要编码对应子任务的信息然后将多个子任务的prompt组合起来就可以为原任务提供很好的初始化。更进一步是否可以设计任务相关的prompts综合考虑原任务与子任务的特点与联系使得子任务上训练的prompt直接在原任务上复用是否可以结合Prompt-tuning和Model-tuning在目标任务上得到更好的表现结合第二点展望能否将此推广到多任务学习多个任务之间设计相关的prompts然后一起训练笔者认为Prompt-tuning是一个十分有前景的技术如何使其更加有效、适用更多场景还需要进一步探索。这就仰仗各位研究者包括正在读文章的你的努力啦~~后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集 [1] Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing. https://arxiv.org/abs/2107.13586[2] https://mp.weixin.qq.com/s/2U6sk-LzYx4GtRitwEQnBw[3] The Power of Scale for Parameter-Efficient Prompt Tuning. https://arxiv.org/abs/2104.08691
