5种有效增加网站流量,打开全网搜索,Wordpress只做后端,好看的wordpress文章模板下载引言
今天带来MacBERT的阅读笔记。论文题目是 重新审视中文自然语言处理的预训练模型。
本篇主要是探讨中文预训练语言模型在非英文语言中的有效性，然后提出了一种简单而有效的模型，称为MacBERT，它在多个方面改进了RoBERTa，特别是采用纠错型掩码语言模型(MLM as correcti…引言
今天带来MacBERT的阅读笔记。论文题目是 重新审视中文自然语言处理的预训练模型。
本篇主要是探讨中文预训练语言模型在非英文语言中的有效性，然后提出了一种简单而有效的模型，称为MacBERT，它在多个方面改进了RoBERTa，特别是采用纠错型掩码语言模型(MLM as correction,Mac)的掩码策略。
通过实验表明MacBERT在很多NLP任务中能取得SOTA结果。
总体介绍
BERT已经变成NLP领域的新的基础组件。从BERT开始，人们在优化预训练语言模型方面取得了巨大而迅速的进展。比如ERINE1、XLNet2、RoBERTa3、SpanBERT4、ALBERT5、ELECTRA6等。
然而相比我们过去训练词嵌入或其他传统的神经网络，训练基于Transformer的模型没那么容易。比如，训练一个BERT-large，它有330M参数包含24层Transformer，训练起来非常昂贵。虽然很多预训练语言模的变种被提
