知名网站用的技术,在线制作动画的网站,做网站最流行的语言,怎样推荐企业建设网站和互联网推广基于 MindSpore 实现 BERT 对话情绪识别
BERT模型概述
BERT#xff08;Bidirectional Encoder Representations from Transformers#xff09;是由Google于2018年开发并发布的一种新型语言模型。BERT在许多自然语言处理#xff08;NLP#xff09;任务中发挥着重要作用Bidirectional Encoder Representations from Transformers是由Google于2018年开发并发布的一种新型语言模型。BERT在许多自然语言处理NLP任务中发挥着重要作用例如问答、命名实体识别、自然语言推理和文本分类。BERT基于Transformer中的Encoder并采用了双向的结构因此掌握Transformer的Encoder结构是理解BERT的基础。
BERT模型的主要创新点
BERT模型的主要创新点在于其预训练方法即使用了**Masked Language ModelMLM和Next Sentence PredictionNSP**两种方法来分别捕捉词语和句子级别的表征representation。
Masked Language ModelMLM
在MLM训练中随机将语料库中15%的单词进行Mask操作。具体操作如下
80%的单词直接用[Mask]替换。10%的单词替换成其他随机的单词。10%的单词保持不变。
通过这种方式模型需要预测被Mask的词从而捕捉到单词级别的语义信息。
Next Sentence PredictionNSP
NSP的目的是让模型理解两个句子之间的联系。训练的输入是句子A和BB有一半的几率是A的下一句。通过预测B是否为A的下一句模型能够学习到句子级别的语义关系。
BERT的预训练和Fine-tuning
BERT预训练之后会保存其Embedding table和12层Transformer权重BERT-BASE或24层Transformer权重BERT-LARGE。预训练好的BERT模型可以用于下游任务的Fine-tuning如文本分类、相似度判断和阅读理解等。
对话情绪识别EmoTect
对话情绪识别Emotion Detection简称EmoTect旨在识别智能对话场景中的用户情绪。针对用户文本自动判断其情绪类别并给出相应的置信度。情绪类型一般分为积极、消极和中性。对话情绪识别适用于聊天、客服等多个场景帮助企业更好地把握对话质量、改善用户交互体验分析客服服务质量并降低人工质检成本。 步骤通过 BertForSequenceClassification 构建用于情感分类的 BERT 模型加载预训练权重设置情感三分类的超参数自动构建模型。后面对模型采用自动混合精度操作提高训练的速度然后实例化优化器紧接着实例化评价指标设置模型训练的权重保存策略最后就是构建训练器模型开始训练。 有构建好的直接调用 from mindnlp.transformers import BertForSequenceClassification, BertModel
