外国网站做问卷调查挣钱,企业宽带,湖北襄阳网站建设,广州网站开发学校词表示和语言模型
词表示是指把自然语言里面最基本的单位#xff0c;也就是词#xff0c;将其转换为机器所能理解的过程。
词表示的目的#xff1a;
1. 计算词之间的相似度#xff1b;
2. 推理词之间的关系。
1.最早是如何表示一个词呢#xff1f; 设目标词是X#…词表示和语言模型
词表示是指把自然语言里面最基本的单位也就是词将其转换为机器所能理解的过程。
词表示的目的
1. 计算词之间的相似度
2. 推理词之间的关系。
1.最早是如何表示一个词呢 设目标词是X则用X的近义词、反义词等放在一起表示。或者用X的上位词来表示如NLP隶属于information sciences,sciences等等。但这种表示方法在于词之间的细微差别难以准确识别。也受限于主观性数据稀疏性以及需要大量的人工标注。
2.One-hot representation独热编码
把每一个词表示成一个独立的符号。每一个词都会在和词表一样长的向量里面只有一维对应于该词。该维度上为1其余维度全为0来表示该词。这种方式对于计算文档之间的相似度时候十分有效但是对于表示词的时候存在很大问题。因为这种方式会假设词和词向量之间是正交的不相关的从而导致任意两个词之间进行计算相似度都为0.
3.使用词的上下文去表示词
这种方式还是先有一个词表然后每个词都用它和它的上下文出现的次数来表示。例如以star举例它和shiningbrighttrees等在文档中一起出现的次数分别是38,452那么就用【38,45,2。。。】这个向量来表示这个词其余词依此类推。这个向量的长度就是词表的长度“”表示star和其余词一起出现的次数没写上罢了。但是这种方式存在的问题是当所用的词表越来越大时所用的存储空间也会很大就是每个词的向量长度都太长了。同时对于某些出现的比较不频繁的词文档中和这个词一起出现的词就比较少导致用这种方式所表示的向量比较稀疏稀疏现象会导致对这个词的表示效果没那么好。
4.词嵌入表示Word embedding
是一种分布式的表示Distribution representation。这种方式的思想是通过建立一个低维的稠密的向量空间将每个词尝试学习到这个空间中用这个空间中某个位置来表示这个词。这种是可以利用大量的文档自动的学习到的。 语言模型
什么是语言模型语言模型的任务是根据前面出现的单词预测出下一个单词。
形式化定义如下
p( Wn | w1,w2,w3,...,wn-1)
语言模型主要要完成两方面工作
1.计算一个序列的词成为一句话的概率。也就是计算一个序列的词的联合概率。就是查看已有的一句话或者一个序列的词成为符合语法的概率。
2.计算下一个词是什么。
如何去完成这两项工作
过去人们假设一个未来的词还没出现的词只会受到它前面的词的影响。
引出了一个重要的内容N-gram Model.
设是4-gram model那么它就是要根据前面出现的3个词去预测下一个哪个词出现的概率最大。应该是去词表里面找一个个试然后找出频度最大的那个。其实就是去大规模文档中找这些词出现的频度然后用频度去预测。
Neural Language Model
这是既N-gram model之后利用深度学习的一项技术是利用神经网络去学习词的分布式表示。
如何做的呢首先将每个词表示成一个低维向量然后将设定的上下文长度的例如是3那就将这3个词的向量拼接在一起就是首尾相接形成一个更长的向量然后给这个长向量做一个非线性变化来预测下一个词出现的概率。
