手机开发和网站开发前景,网站盈利模式设计,wordpress 4.9.2漏洞,北京用网站模板建站目录#xff1a;1、应用场景2、优缺点3、FastText的原理4、FastText词向量与word2vec对比 目录#xff1a;
1、应用场景
fastText是一种Facebook AI Research在16年开源的一个文本分类器。 其特点就是fast。相对于其它文本分类模型#xff0c;如SVM#xff0c;Logistic …目录1、应用场景2、优缺点3、FastText的原理4、FastText词向量与word2vec对比 目录
1、应用场景
fastText是一种Facebook AI Research在16年开源的一个文本分类器。 其特点就是fast。相对于其它文本分类模型如SVMLogistic Regression和neural network等模型fastText在保持分类效果的同时大大缩短了训练时间。
2、优缺点
适合大型数据高效的训练速度能够训练模型“在使用标准多核CPU的情况下10分钟内处理超过10亿个词汇”支持多语言表达利用其语言形态结构fastText能够被设计用来支持包括英语、德语、西班牙语、法语以及捷克语等多种语言。FastText的性能要比时下流行的word2vec工具明显好上不少也比其他目前最先进的词态词汇表征要好。fastText专注于文本分类在许多标准问题上实现当下最好的表现例如文本倾向性分析或标签预测。
3、FastText的原理
fastText 方法包含三部分模型架构、层次 Softmax 和 N-gram 特征。
fastText 模型输入一个词的序列一段文本或者一句话)输出这个词序列属于不同类别的概率。 序列中的词和词组组成特征向量特征向量通过线性变换映射到中间层中间层再映射到标签。 fastText 在预测标签时使用了非线性激活函数但在中间层不使用非线性激活函数。 fastText 模型架构和 Word2Vec 中的 CBOW 模型很类似。不同之处在于fastText 预测标签而 CBOW 模型预测中间词。 第一部分fastText的模型架构类似于CBOW两种模型都是基于Hierarchical Softmax都是三层架构输入层、 隐藏层、输出层。 CBOW模型又基于N-gram模型和BOW模型此模型将W(t−N1)……W(t−1)W(t−N1)……W(t−1)作为输入去预测W(t) fastText的模型则是将整个文本作为特征去预测文本的类别。
第二部分层次之间的映射 将输入层中的词和词组构成特征向量再将特征向量通过线性变换映射到隐藏层隐藏层通过求解最大似然函数然后根据每个类别的权重和模型参数构建Huffman树将Huffman树作为输出。 具体的数学求解过程可参考博客 https://blog.csdn.net/yick_liao/article/details/62222153
第三部分fastText的N-gram特征 常用的特征是词袋模型将输入数据转化为对应的Bow形式。但词袋模型不能考虑词之间的顺序因此 fastText 还加入了 N-gram 特征。 “我 爱 她” 这句话中的词袋模型特征是 “我”“爱”, “她”。这些特征和句子 “她 爱 我” 的特征是一样的。 如果加入 2-Ngram第一句话的特征还有 “我-爱” 和 “爱-她”这两句话 “我 爱 她” 和 “她 爱 我” 就能区别开来了。当然为了提高效率我们需要过滤掉低频的 N-gram。 在fastText 中一个低维度向量与每个单词都相关。隐藏表征在不同类别所有分类器中进行共享使得文本信息在不同类别中能够共同使用。这类表征被称为词袋bag of words此处忽视词序。在 fastText中也使用向量表征单词 n-gram来将局部词序考虑在内这对很多文本分类问题来说十分重要。 举例来说fastText能够学会“男孩”、“女孩”、“男人”、“女人”指代的是特定的性别并且能够将这些数值存在相关文档中。然后当某个程序在提出一个用户请求假设是“我女友现在在儿”它能够马上在fastText生成的文档中进行查找并且理解用户想要问的是有关女性的问题。
4、FastText词向量与word2vec对比
FastText word2vec中 cbow h-softmax的灵活使用 灵活体现在两个方面
模型的输出层word2vec的输出层对应的是每一个term计算某term的概率最大而fasttext的输出层对应的是 分类的label。不过不管输出层对应的是什么内容起对应的vector都不会被保留和使用模型的输入层word2vec的输入层是 context window 内的term而fasttext 对应的整个sentence的内容包括term也包括 n-gram的内容 两者本质的不同体现在 h-softmax的使用。
Word2vec的目的是得到词向量该词向量 最终是在输入层得到输出层对应的 h-softmax 也会生成一系列的向量但最终都被抛弃不会使用。 fasttext则充分利用了h-softmax的分类功能遍历分类树的所有叶节点找到概率最大的label一个或者N个。
参考 https://blog.csdn.net/sinat_26917383/article/details/54850933 https://blog.csdn.net/yick_liao/article/details/62222153
