谷歌有趣的网站,医院网站管理制度,销售管理软件排行,网站建设和技术服务合同范本1 NLP模型的几个阶段
1.1 第一阶段#xff08;在深度学习出现之前#xff09;
通常聚焦于特征工程#xff08;feature engineering#xff09;利用领域知识从数据中提取好的特征
1.2 第二阶段#xff08;在深度学习出现之后#xff09;
特征可以从数据中习得——在深度学习出现之前
通常聚焦于特征工程feature engineering利用领域知识从数据中提取好的特征
1.2 第二阶段在深度学习出现之后
特征可以从数据中习得——研究转向了结构工程architecture engineering通过设计一个合适的网络结构学习好的特征
1.3 第三阶段预训练 微调
用一个固定的结构预训练一个语言模型language model, LM 预训练的方式就是让模型补全上下文比如完形填空预训练不需要专家知识因此可以在网络上搜集的大规模文本上直接进行训练这一阶段的一个研究方向是目标工程objective engineering 为预训练任务和微调任务设计更好的目标函数让下游任务的目标与预训练的目标对齐是有利的几种经典预训练任务 Masked Language ModelingMLM 随机选取一个固定长度的词袋区间然后挖掉中心部分的词让模型预测该位置的词 Next Sentence PredictionNSP 给定两个句子来判断他们之间的关系存在三种关系 entailmentisNext 紧相邻的两个句子contradictionisNotNext 这两个句子不存在前后关系例如两个句子来自于不同的文章Neutral 中性关系当前的两个句子可能来自于同一篇文章但是不属于isNext关系的
1.4 第四阶段预训练 Prompt Tuning
通过添加模板的方法来避免引入额外的参数从而让语言模型可以在小样本Few-shot或零样本Zero-shot场景下达到理想的效果
2 prompt tuning
Prompt的目的是将Fine-tuning的下游任务目标转换为Pre-training的任务 2.1 举例说明
给定一个句子 [CLS] I like the Disney films very much. [SEP] 传统的Fine-tuning方法 通过BERT的Transformer获得 [CLS]表征之后再喂入新增加的MLP分类器进行二分类预测该句子是积极的positive还是消极的negative需要一定量的训练数据来训练Prompt-Tuning 构建模板Template Construction 通过人工定义、自动搜索、文本生成等方法生成与给定句子相关的一个含有[MASK]标记的模板拼接到原始的文本中获得Prompt-Tuning的输入 [CLS] I like the Disney films very much. [SEP] It was [MASK]. [SEP]将其喂入BERT模型中并复用预训练好的MLM分类器即可直接得到[MASK]预测的各个token的概率分布标签词映射Label Word Verbalizer 因为[MASK]部分我们只对部分词感兴趣【比如 positive/negative】——需要建立一个映射关系 如果[MASK]预测的词是“great”则认为是positive类如果是“terrible”则认为是negative类训练 只对预训练好的MLM head进行微调
3 PETPattern-Exploiting Training
《Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference》EACL2021
3.1 pattern 和verbalizer
3.1.1 PatternTemplate
记作T 即上文提到的模板为额外添加的带有[mask]标记的短文本通常一个样本只有一个Pattern因为我们希望只有1个让模型预测的[mask]标记不同的任务、不同的样本可能会有其更加合适的pattern —— 如何构建合适的pattern是Prompt-Tuning的研究点之一
3.1.2 Verbalizer
记作V 即标签词的映射对于具体的分类任务需要选择指定的标签词label word。例如情感分析中期望Verbalizer可能是 V(positive)great; V(negative)terrible positive和negative是类标签 如何构建Verbalizer是另一个研究挑战 。 上述两个组件被称为Pattern-Verbalizer-PairPVP一般记作P(T,V)
3.2 Patterns Ensembling
一般情况下一个句子只能有一个PVP这可能并不是最优的是否可以为一个句子设计多个不同的PVP呢?——Prompt-Tuning的集成 Patterns Ensembling 同一个句子设计多个不同的pattern 3.3 Verbalizers Ensembling
在给定的某个Pattern下并非只有1个词可以作为label word。 例如positive类则可以选择“great”、“nice”、“wonderful”。当模型预测出这三个词时均可以判定为positive类。在训练和推理时可以对所有label word的预测概率进行加权或投票处理并最后获得概率最大的类 3.4 PVPs EnsemblingPrompt Ensembling
Pattern和Verbalizer均进行集成此时同一个句子有多个Pattern每个Pattern又对应多个label word 3.5 选择不同的Pattern和Verbalizer会产生差异很大的结果 4 挑选合适的pattern
从3.5可以看出不同的pattern对结果影响很大所以如何挑选合适的pattern是近几年学术界的一个热点 离散的模板构建Hard Prompt 直接与原始文本拼接显式离散的字符且在训练中这些离散字符的词向量Word Embedding 始终保持不变——很难寻找到最佳的模板——效果不稳定 连续的模板构建Soft Prompt 让模型在训练过程中根据具体的上下文语义和任务目标对模板参数进行连续可调
离散的模板构建 Hard Prompt启发式法Heuristic-based Template通过规则、启发式搜索等方法构建合适的模板生成Generation根据给定的任务训练数据通常是小样本场景生成出合适的模板连续的模板构建 Soft Template词向量微调Word Embedding 显式地定义离散字符的模板但在训练时这些模板字符的词向量参与梯度下降初始定义的离散字符用于作为向量的初始化伪标记Pseudo Token不显式地定义离散的模板而是将模板作为可训练的参数 4.1 soft prompt
The Power of Scale for Parameter-Efficient Prompt Tuning, EMNLP 2021
记Y是LLM的输出X是输入tokenθ是Transformer的权重参数 NLP中的文本生成任务可以表示为之前的hard Prompting在生成 Y 时向模型添加额外信息以作为条件: 这一过程可以表示为也就是将prompt的语句和输入token 连接在一起输入给pre-train 模型在pre-train 模型中用它的参数生成 embedding经过一系列的流程得到对应的输出soft prompt/prompt tuning 使用一组特殊Token作为prompt 给定一系列 n 个Token 第一步是将这些Token向量化形成一个矩阵 【使用pre-train 模型的参数】e是向量空间的维度soft prompt以参数的形式表示 p是prompt的长度将prompt与向量化后的输入连接起来形成一个整体矩阵该矩阵接着正常地通过编码器-解码器流动模型旨在最大化 的概率但仅更新prompt参数θP 参考内容一文详解Prompt学习和微调Prompt Learning Prompt Tuning
