石家庄做网站建设,十大网站有哪些,平面设计素材怎么找,网站建设的 几点安装环境
# 该案例在 mindnlp 0.3.1 版本完成适配#xff0c;如果发现案例跑不通#xff0c;可以指定mindnlp版本#xff0c;执行!pip install mindnlp0.3.1
!pip install mindnlp
模型简介
BERT是一种由Google于2018年发布的新型语言模型#xff0c;它是基于Transforme…
安装环境
# 该案例在 mindnlp 0.3.1 版本完成适配如果发现案例跑不通可以指定mindnlp版本执行!pip install mindnlp0.3.1
!pip install mindnlp
模型简介
BERT是一种由Google于2018年发布的新型语言模型它是基于Transformer中的Encoder并加上双向的结构。BERT模型采用了Masked Language Model和Next Sentence Prediction两种方法进行预训练以捕捉词语和句子级别的representation。预训练之后BERT可以用于下游任务的Fine-tuning比如文本分类、相似度判断等。此外BERT还可以应用于对话情绪识别帮助企业改善产品的用户交互体验。
import osimport mindspore
from mindspore.dataset import text, GeneratorDataset, transforms
from mindspore import nn, contextfrom mindnlp._legacy.engine import Trainer, Evaluator
from mindnlp._legacy.engine.callbacks import CheckpointCallback, BestModelCallback
from mindnlp._legacy.metrics import Accuracy# prepare dataset
class SentimentDataset:Sentiment Datasetdef __init__(self, path):self.path pathself._labels, self._text_a [], []self._load()def _load(self):with open(self.path, r, encodingutf-8) as f:dataset f.read()lines dataset.split(\n)for line in lines[1:-1]:label, text_a line.split(\t)self._labels.append(int(label))self._text_a.append(text_a)def __getitem__(self, index):return self._labels[index], self._text_a[index]def __len__(self):return len(self._labels)
数据集
该数据集包括情绪分类的类别和经过分词预处理的中文文本数据由两列组成以制表符分隔第一列是情绪分类的类别0表示消极1表示中性2表示积极第二列是经过空格分词的中文文本。数据集读取后进行 Tokenize 处理和 pad 操作。
# download dataset
!wget https://baidu-nlp.bj.bcebos.com/emotion_detection-dataset-1.0.0.tar.gz -O emotion_detection.tar.gz
!tar xvf emotion_detection.tar.gz
数据预处理
import numpy as npdef process_dataset(source, tokenizer, max_seq_len64, batch_size32, shuffleTrue):is_ascend mindspore.get_context(device_target) Ascendcolumn_names [label, text_a]dataset GeneratorDataset(source, column_namescolumn_names, shuffleshuffle)# transformstype_cast_op transforms.TypeCast(mindspore.int32)def tokenize_and_pad(text):if is_ascend:tokenized tokenizer(text, paddingmax_length, truncationTrue, max_lengthmax_seq_len)else:tokenized tokenizer(text)return tokenized[input_ids], tokenized[attention_mask]# map datasetdataset dataset.map(operationstokenize_and_pad, input_columnstext_a, output_columns[input_ids, attention_mask])dataset dataset.map(operations[type_cast_op], input_columnslabel, output_columnslabels)# batch datasetif is_ascend:dataset dataset.batch(batch_size)else:dataset dataset.padded_batch(batch_size, pad_info{input_ids: (None, tokenizer.pad_token_id),attention_mask: (None, 0)})return dataset
模型推理 总结
BERT是一种新型的预训练语言模型可以用于多种自然语言处理任务。 123 对话情绪识别是一种重要的对话系统任务可以用于改善用户交互体验。
