网站如何做地推,app开发公司有前景么,全屏网站 图片优化,WordPress 微信小程序登录目录
1.0 文本分类的应用场景
1.1 文本分类流程
编辑
1.2 判别式模型
1.3 生成式模型
1.4 评估 1.5 参考文献 1.0 文本分类的应用场景
#xff08;1#xff09;情感分析#xff1a;中性#xff0c;正向评论#xff0c;负向评论#xff0c;黄色言论#xff0c;暴…目录
1.0 文本分类的应用场景
1.1 文本分类流程
编辑
1.2 判别式模型
1.3 生成式模型
1.4 评估 1.5 参考文献 1.0 文本分类的应用场景
1情感分析中性正向评论负向评论黄色言论暴力言论反政言论等
2主题、话题分类法律、经济类话题等
3垃圾邮件识别
4意图识别开关车门开关车灯闲聊等类别。
1.1 文本分类流程 0数据预处理将本文中的停用词、空格、大小写等进行去除和归一。
1特征提取将本文字符转换成数学模型能够识别的向量或者token也就是第零章节中讲到的部分。
2维度处理传统机器学习模型在处理分类任务前通常会对输入的特征进行降维处理以避免资源爆炸及训练时间过长常用的维度处理方法有主成分分析PCA无监督、降维后的方差diff最大、线性判别分析LDA有监督等。对于深度学习模型由于大部分进行了词嵌入处理因此一般不需要对维度进行特殊处理。
PCA的具体推导和实现主成分分析法PCA-CSDN博客
LDA的具体推导和实现线性判别分析LDA
其他降维方法机器学习降维算法汇总
3分类模型处理好特征后就可以利用机器学习或者深度学习模型对数据进行分类常用的分类模型分为判别式模型和生成式模型将在下面两节着重介绍。
1.2 判别式模型
人为设定好模型框架通过数据的不断训练修正模型参数最后输入数据直接判断数据所属类别的概率。要确定一个羊是山羊还是绵羊用判别式模型的方法是从历史数据中学习到模型然后通过提取这只羊的特征来预测出这只羊是山羊的概率是绵羊的概率。
LRLogistic Regression逻辑回归最常用及最简单的一种分类模型。曾经写的LR的博客
KNNk-最近邻一种有监督的模型对于一个未知类别的数据去计算得到K个与之距离最近的有标签的数据最后通过投票的方式得到未知数据的类别。
SVM支持向量机通过计算得到一个超平面将数据进行分类。曾经写的关于SVM的博客
决策树一种基于树结构进行决策判断的模型它通过多个条件判别过程将数据集分类最终获取需要的结果。根据计算熵增方式的不同分为ID3决策树、C4.5决策树、CART决策树
集成分类器XGBoost GBDT。
MLP多层感知器 通常由一个输入层、多个隐藏层和一个输出层组成能够通过学习给出输入数据的类别概率。曾经写的关于MLP的博客 RNN循环神经网络在MLP的隐藏层中加入上一次计算得到的结果同时作为当前隐藏层的输入来保存时序性数据的信息。曾经写的RNN的博客 LSTM类似电路设计会有输入门、遗忘门、输出门遗忘门会有选择的遗忘低概率的数据。
BERT、ERNIE
1.3 生成式模型
通过数据学习得到数据的联合概率分布基于条件概率P(X|Y)和先验概率P(Y)来作为预测模型的预测基础预测联合概率分布P(Y,X)。是根据山羊的特征首先学习出一个山羊的模型然后根据绵羊的特征学习出一个绵羊的模型然后从这只羊中提取特征放到山羊模型中看概率是多少再放到绵羊模型中看概率是多少哪个大就是哪个。
贝叶斯网络一种生成式模型给定一些先验知识例如每个类别的先验概率以及每个特征在不同类别下的条件概率我们可以计算出某个数据点属于每个类别的后验概率然后选择具有最高后验概率的类别作为预测结果。 马尔科夫随机场MRF
隐马尔科夫模型HMM
不管是生成式模型还是判别式模型它们最终的判断依据都是条件概率P(y|x)但是生成式模型先计算了联合概率P(x,y)再由贝叶斯公式计算得到条件概率。因此生成式模型可以体现更多数据本身的分布信息其普适性更广。由生成式模型可以得到判别式模型但反过来不行。
1.4 评估
NLP分类任务中常用的评价指标有准确率、精准率、召回率、F1值宏平均、微平均等。这些评价指标常依赖于混淆矩阵的计算混淆矩阵主要包括其中包括真阳性TP假阳性FP假阴性FN和真阴性TN一般来说他们的计算方式如下
TP预测为正例的且标签值也为正例的
FP预测为正例的但标签值为负例的
TN预测为负例的且标签值也为负例的
FN预测为负例的但标签值为正例的
1准确率 2精准率 3召回率 4F1值 5宏F1值
求取每一类的F值之后求平均值对于类别分布不均的数据集数据量大的类别对总体影响大 6微F1值
求取每一类的TP/FP/TN/FN然后按照P、R的计算公式计算微平均P、微平均R最后计算得到微平均F1。
7ROC曲线
根据学习器的预测结果对样例进行排序按此顺序逐个把样本作为正例进行预测例如第一个样本的值为分界线小于的为负例大于的为正例每次计算出两个重要量的值TPR真阳率、FPR假阳率分别以它们为横、纵坐标作图。
TPR 召回率
FPR FP / TP FP
8AUC
ROC曲线下的面积,介于0.1和1之间,作为数值可以直观的评价分类器的好坏,值越大越好。 1.5 参考文献
Text Classification Algorithms: A Survey
