做网赌网站怎么推广拉人,国家外管局网站怎么做收汇,企业网站推广方案在哪里,品牌软文营销案例神经概率语言模型#xff0c;内容分为三块#xff1a;问题#xff0c;模型与准则#xff0c;实验结果。[此节内容未完待续...] 1#xff0c;语言模型问题 语言模型问题就是给定一个语言词典包括v个单词#xff0c;对一个字串做出二元推断#xff0c;推断其是否符合该语言… 神经概率语言模型内容分为三块问题模型与准则实验结果。[此节内容未完待续...] 1语言模型问题 语言模型问题就是给定一个语言词典包括v个单词对一个字串做出二元推断推断其是否符合该语言表达习惯。也就是的取值为0或者为1。 概率语言模型放松了对取值的限制让其在0~1之间取值语言模型 v.s 概率语言模型而且全部的字串的概率之和为1。维基百科对于概率语言模型的解释为是借由一个概率分布而指派概率给字词所组成的字串。可是须要注意的是直接对进行求其概率分布是不现实的由于理论上这样的字串数量是无限的。直接求其概率分布会导致维度灾难。 为了解决这个问题首先引入链式法则chain rule觉得字串中第i个字符出现的概率是由其前面i-1个字符决定的。这样就有例如以下公式 可是有了这个公式还是太复杂了。继续引入如果简化公式觉得字串中第i个字符出现的概率是由其前面n-1个字符决定(也就是如果)的。这样公式就继续被简化 模型如今就变得非常easy了就是计算条件概率。也就是须要计算给定字串后字典中的每一个字出现的概率。 2. 模型与准则 2.1 数据 给定一些标记号的样本. 2.2 模型 图1. 模型图解 图片来自http://licstar.net/archives/328 建模步骤 2.2.1 查表将输入的单词,通过查表图1中Table look-up过程将单词映射为m维的词向量。此处的所查的表并非给定的是在模型学习中获得的附加产物(也就是word2vec产生的那些向量玩意)。 2.2.2 线性变换将2.2.1中的n-1个m维度的向量通过首尾拼接的方式线性变换成为(n-1)*m维的向量。也就是在中间那个tanh层输入处以下全部分向量C(w)合并为一个大的维度为(n-1)*m的向量[Mikolov的RNNLM在此做出改变不只只看n-1个单词的信息而是看该词前面全部的单词信息]。 2.2.3 非线性变换在中间那个tanh层处进行非线性变换。这里须要的是一个变换矩阵和偏置矩阵。也就是对于中间那一层tanh所在的那一层该层的输入是(n-1)*m的向量输出是。经过线性变换后先前的(n-1)*m维的向量成为了h维的向量。 2.2.4 输出处理在最后一层softmax层进行处理输出。这里须要一个变换矩阵和一个偏置矩阵。最后输出就是。注意到最后输出的是一个v维度的向量和我们的第一节中词典D的维度是一致的。向量中每个维度相应的实数就是输出该单词的概率。 2.3 准则 对全部的训练样本其准则为使取最小,此处为正则项。能够使用梯度下降法进行求取。 模型中须要人工设定的參数是模型的元数n词向量的维度m隐层的输出维度h。 须要模型优化的參数变换矩阵W和H偏置矩阵d和b查表所使用的词向量表都是须要优化的參数也就是我们所求取的參数。 3.实验结果 语言模型困惑度。模型困惑度是用来评价不同的语言模型好坏的一种方法另一种方法是Word Error RateMikolov的博士论文《Statistical Language Models based on Neural Networks》博士论文对这两种方法有介绍和比較。给定測试数据集合模型在该測试集合上的困惑度越小越好。 測试集合一 Brown Corpus共计118w单词当中80w训练20w验证其它18w作为測试集合。 在n5m30h100时候NNLM的PPL为270。该測试集合眼下最好的n-gram模型n3的PPL为312。设置权重进行模型融合后的PPL为252。 測试集合二 AP News共计1600w词当中1400w训练100w验证其它100w作为測试集合。 在n6m100h109时候NNLM的PPL为109。该測试集合眼下最好的n-gram模型的PPL为117。 网上学习资料 关于神经网络语言模型的博客点击打开链接 Mikolov的博士论文《Statistical Language Models based on Neural Networks》 关于n-gram语言模型的评价是简单有用N-gram models are today still considered as state of the art not because there are no better techniques, but because those better techniques are computationally much more complex, and provide just marginal improvements, not critical for success of given application.模型的关键就是选择n值和平滑技术。其固有缺点例如以下 第一n-gram模型的n值无法取大。由于模型n-gram片段的数量会随着n值的变大指数增长。这一点就决定了n-gram模型无法有效的利用更长的上下文信息。特殊的当被提供海量训练语料时n-gram模型也无法有效捕捉一些长距离的语言现象。 第二即使n值能够取得比較大n-gram无法有利用长距离的上下文信息。比如有一个句子The sky above our heads is bleu. 这句话里面单词 bleu对单词sky有着非常强的依赖关系无论这两个单词中间插入多少变量都不会破坏这样的关系。比如The sky this morning was bleu. 可是对n-gram模型即使放开n值的限制取一个较大的n值也无法有效地捕捉这样的长距离的语言现象。 第三n-gram模型无法高效的对相似的词语进行辨别。比如训练语料中存在Party will be on Monday. 和Party will be on Tuesday. 模型无法对类似Party will be on Friday.的句子赋予较高的概率。尽管我们人可以清楚知道“Monday”,Tuesday,Friday这些是类似的概念可是只对字面进行建模的n-gram无法辨别。 转载于:https://www.cnblogs.com/mengfanrong/p/3933759.html
