网站建设销售好,网站空间和云主机,企业形象设计vi手册,成立公司的好处 corpus.txt因为这些数据虽然去除了其他标签的数据#xff0c;但是却把保留下来了#xff0c;所以后来作者在分词程序中去除了这个标签我在这个[网页](http://www.jb51.net/article/65497.htm)上找到了一个python去标签的简单代码。但是没有实验过#xff0c;不知… corpus.txt因为这些数据虽然去除了其他标签的数据但是却把保留下来了所以后来作者在分词程序中去除了这个标签我在这个[网页](http://www.jb51.net/article/65497.htm)上找到了一个python去标签的简单代码。但是没有实验过不知效果怎么样这段代码可以用于去除文本里的字符串标签不包括标签里面的内容import rehtml脚本之家,Python学习dr re.compile(r],re.S)dd dr.sub(,html)print(dd)运行结果如下脚本之家,Python学习##实验整理之后就可以在bin文件夹下运行程序了图片和参数解释来自[这里](http://blog.csdn.net/heyongluoyao8/article/details/43488765)代码如下time ./word2vec -train text8 -output vectors.bin -cbow 1 -size 200 -window 8 -negative 25 -hs 0 -sample 1e-4 -threads 20 -binary 0 -iter 15-time 会在结果前输出实验用的时间当然如果不需要的话可以去掉-train 训练数据-output 结果输入文件即每个词的向量也可以output为txt文件但是txt文件没有直接用./distance-cbow 是否使用cbow模型0表示使用skip-gram模型1表示使用cbow模型默认情况下是skip-gram模型cbow模型快一些skip-gram模型效果好一些(0的情况跑了2个小时1的时候跑了50分钟)-size 表示输出的词向量维数-window 为训练的窗口大小8表示每个词考虑前8个词与后8个词(实际代码中还有一个随机选窗口的过程窗口大小5)-negative 表示是否使用NEG方0表示不使用其它的值目前还不是很清楚-hs 是否使用HS方法0表示不使用1表示使用-sample 表示 采样的阈值如果一个词在训练样本中出现的频率越大那么就越会被采样-binary 表示输出的结果文件是否采用二进制存储0表示不使用(即普通的文本存储可以打开查看)1表示使用即vectors.bin的存储类型-iter 迭代次数除了上面所讲的参数还有-alpha 表示 学习速率-min-count 表示设置最低频率默认为5如果一个词语在文档中出现的次数小于该阈值那么该词就会被舍弃-classes 表示词聚类簇的个数从相关源码中可以得出该聚类是采用k-means跑完后用下面的命令启动距离计算然后输入文字./distance vectors.bin至于聚类只需要另一个命令即可./word2vec -train resultbig.txt -output classes.txt -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -sample 1e-3 -threads 12 -classes 500按类别排序sort classes.txt -k 2 -n classes.sorted.txt##应用[深度学习word2vec笔记之应用篇](https://www.52ml.net/16951.html)这篇文章介绍了word2vec如何应用在广告推荐中#2. Tensorflow中的word2vec现在word2vec已经集成到了tensorflow中使用tensorflow下的word2vec模型[官网](https://github.com/tensorflow/tensorflow/tree/master/tensorflow/models/embedding)中给的例子**Word2Vec Tutorial**To download the example text and evaluation data:wget http://mattmahoney.net/dc/text8.zip -O text8.zipunzip text8.zipwget https://storage.googleapis.com/google-code-archive-source/v2/code.google.com/word2vec/source-archive.zipunzip -p source-archive.zip word2vec/trunk/questions-words.txt questions-words.txtrm source-archive.zipAssuming you are using the pip package install and have cloned the git repository, navigate into this directory and run using:cd tensorflow/models/embeddingpython word2vec_optimized.py \--train_datatext8 \--eval_dataquestions-words.txt \--save_path/tmp/To run the code from sources using bazel:bazel run -c opt tensorflow/models/embedding/word2vec_optimized -- \--train_datatext8 \--eval_dataquestions-words.txt \--save_path/tmp/我虽然跑通了程序在tmp文件夹中也生成了几个文件但是完全不知道怎么用。。。。。#3. gensim的word2vec请参考这篇教程http://blog.csdn.net/Star_Bob/article/details/47808499##参考[Windows下使用Word2vec继续词向量训练](http://blog.csdn.net/heyongluoyao8/article/details/43488765)[利用word2vec对关键词进行聚类](http://blog.csdn.net/zhaoxinfan/article/details/11069485)https://github.com/tensorflow/tensorflow/tree/master/tensorflow/models/embedding[深度学习word2vec笔记之应用篇](https://www.52ml.net/16951.html)
