现在一些产品网站开发用的啥框架,wordpress幻灯片简码,小型外包公司在哪找项目,wordpress网站文章排版插件slavahead 一、介绍 BERT模型的出现BERT模型带来了NLP的重大进展。 BERT 的架构源自 Transformer#xff0c;它在各种下游任务上取得了最先进的结果#xff1a;语言建模、下一句预测、问答、NER标记等。 尽管 BERT 性能出色#xff0c;研究人员仍在继续尝试其配置#xff0… slavahead 一、介绍 BERT模型的出现BERT模型带来了NLP的重大进展。 BERT 的架构源自 Transformer它在各种下游任务上取得了最先进的结果语言建模、下一句预测、问答、NER标记等。 尽管 BERT 性能出色研究人员仍在继续尝试其配置希望获得更好的指标。幸运的是他们成功了并提出了一种名为 RoBERTa 的新模型 - 鲁棒优化的 BERT 方法。 在本文中我们将参考官方 RoBERTa 论文其中包含有关模型的深入信息。简而言之RoBERTa 对原始 BERT 模型进行了多项独立改进——包括架构在内的所有其他原则保持不变。本文将介绍和解释所有的进步。
二、动态遮蔽 从 BERT 的架构中我们记得在预训练期间BERT 通过尝试预测一定百分比的屏蔽标记来执行语言建模。原始实现的问题在于为不同批次的给定文本序列选择的掩码标记有时是相同的。 更准确地说训练数据集被复制 10 次因此每个序列仅以 10 种不同的方式进行屏蔽。请记住BERT 运行 40 个训练周期具有相同掩码的每个序列都会传递给 BERT 四次。研究人员发现使用动态掩码效果稍好这意味着每次将序列传递给 BERT 时都会唯一生成掩码。总体而言这会减少训练期间的重复数据从而使模型有机会处理更多不同的数据和屏蔽模式。 静态掩蔽与动态掩蔽
三、下一句预测 该论文的作者进行了研究寻找对下一个句子预测任务进行建模的最佳方法。结果他们发现了一些有价值的见解
删除下一个句子的预测损失会带来稍微更好的性能。与传递由多个句子组成的序列相比将单个自然句子传递到 BERT 输入会损害性能。解释这种现象的最可能的假设之一是模型很难仅依靠单个句子来学习远程依赖关系。通过从单个文档而不是多个文档中采样连续的句子来构造输入序列更有利 。 通常序列始终由单个文档的连续完整句子构建因此总长度最多为 512 个标记。当我们到达文档末尾时问题就出现了。在这方面研究人员比较了是否值得停止对此类序列进行句子采样或者额外采样下一个文档的前几个句子并在文档之间添加相应的分隔符标记。结果表明第一种方案效果较好。 最终对于最终的 RoBERTa 实现作者选择保留前两个方面并省略第三个方面。尽管观察到第三个见解背后的改进但研究人员并没有继续下去因为否则它会使之前的实现之间的比较更加成问题。发生这种情况的原因是到达文档边界并停在那里意味着输入序列将包含少于 512 个标记。为了在所有批次中具有相似数量的令牌在这种情况下需要增加批次大小。这导致批量大小可变和研究人员希望避免的更复杂的比较。 四、增加批量大小 NLP 的最新进展表明增加批量大小并适当降低学习率和训练步骤数通常会提高模型的性能。 提醒一下BERT 基础模型是在 256 个序列的批量大小上训练一百万步的。作者尝试在 2K 和 8K 的批量大小上训练 BERT并选择后者来训练 RoBERTa。相应的训练步数和学习率值分别变为31K和1e-3。 同样重要的是要记住通过一种称为“梯度累积”的特殊技术批量大小的增加会导致更容易的并行化。 /span 五、字节文本编码 在 NLP 中存在三种主要类型的文本标记化
字符级标记化子字级标记化词级标记化 原始 BERT 使用词汇大小为 30K 的子字级标记化这是在输入预处理和使用多种启发式之后学习的。 RoBERTa 使用字节而不是 unicode 字符作为子词的基础并将词汇量扩展至 50K无需任何预处理或输入标记化。这导致 BERT 基础模型和 BERT 大模型分别增加 15M 和 20M 的额外参数。 RoBERTa 中引入的编码版本表现出比以前稍差的结果。 尽管如此与 BERT 相比RoBERTa 词汇量大小的增长允许在不使用未知标记的情况下对几乎任何单词或子词进行编码。这给 RoBERTa 带来了相当大的优势因为该模型现在可以更全面地理解包含稀有单词的复杂文本。 六、预训练 除此之外RoBERTa 应用了上述所有四个方面并具有与 BERT Large 相同的架构参数。 RoBERTa的参数总数为355M。 RoBERTa 在五个海量数据集的组合上进行了预训练产生总共 160 GB 的文本数据。相比之下BERT Large 仅在 13 GB 数据上进行预训练。最后作者将训练步骤数从 100K 增加到 500K。 因此在最流行的基准测试中RoBERTa 在 XLNet Large 上的表现优于 BERT Large。
七、RoBERTa 版本 与 BERT 类似研究人员开发了两个版本的 RoBERTa。基本版本和大版本中的大多数超参数是相同的。下图展示了主要区别 RoBERTa 中的微调过程与 BERT 类似。
八、结论 在本文中我们研究了 BERT 的改进版本它通过引入以下几个方面来修改原始训练过程
动态掩蔽省略下一句预测目标较长句子的训练增加词汇量使用更大批量的数据进行更长时间的训练 由此产生的 RoBERTa 模型在顶级基准测试中似乎优于其祖先。尽管配置更复杂RoBERTa 仅添加了 15M 额外参数保持了与 BERT 相当的推理速度。
