网站开发总结报告,中国镇江网,柳州住建局官网,晋江网络推广阅读本文大概需要 3.6 分钟。前段时间《一个出身寒门的状元之死》刷屏了#xff0c;当我看完了这篇文章#xff0c;很有感触#xff0c;一开始我以为是事实#xff0c;后来才发现完全是虚构#xff0c;对于我来讲并不是非常在乎文章中的故事是否是真实的#xff0c;我在乎… 阅读本文大概需要 3.6 分钟。前段时间《一个出身寒门的状元之死》刷屏了当我看完了这篇文章很有感触一开始我以为是事实后来才发现完全是虚构对于我来讲并不是非常在乎文章中的故事是否是真实的我在乎文章给我的那种生活体验。文中那个出身寒门的状元不为利益而牺牲自己的原则也就是不做恶比如在做家教时有钱人家的学生让他把寒假作业的答案发给他们这样他就可以获得丰厚的报酬然而他坚决不做还为此挨了打。文中有很多这样的事情。那个出身寒门的状元坚持不做恶这也让他处处碰壁最后竟得病死了不管怎么说这样一身正气充满正能量的人却死了周围那些到处谄媚逢场作戏的人却活的好好的不得不说这样的结局让很多人感到惋惜。我想这也是此文章有很多阅读量的原因。作者的写作手法非常高超要引发人们的羡慕就捧到天上要赚取眼泪就踩到泥里。人造的落差感到底还是缺了点生活。但是现在想看这篇文章时已经无法访问了。当我看到这个时很震惊心想这么好的阅读体验的文章就这么没了在网上搜索了好久都搜索不到。心里一阵堵。唉如何防止喜欢的公众号文章被删除呢 那就是当天就把该文章保存起来有时间再回头慢慢玩味。现在每个人都很忙而且关注的公众号也多有没有程序来帮我做这件事呢还真有我搜索了一下发现这样一个好的开源项目wechat-spider界面预览1) 要爬取的微信公众号列表2) 要爬取的文章关键字列表3) 已经爬取的微信文章4) 查看文章并标记是否可用5) 控制爬取进程数技术栈python django redis mysql安装1)python环境, 检查python的版本是否为2.7.x如果不是安装2.7.6。如果是centos 6.x升级python2.6到python2.7参考教程 http://ruiaylin.github.io/2014/12/12/python%20update/如果是centos 7.x默认就是python2.7,不用升级如果是mac osx可以使用virtualenv安装python2.72)安装依赖包, clone代码安装Mysql-python依赖yum install python-devel mysql-devel gcc安装lxml依赖yum install libxslt-devel libxml2-devel安装浏览器环境 selenium依赖.(如果是mac环境仅需安装firefox 但确保版本是 firefox 36.0使用最新的版本会报错)yum install xorg-x11-server-Xvfbyum upgrade glib2 # 确保glib2版本大于2.42.2否则firefox启动会报错 yum install firefox # centos下安装最新的firefox版本clone代码,安装依赖python库$ git clone https://github.com/bowenpay/wechat-spider.git$ cd wechat-spider$ pip install -r requirements.txt3) 创建mysql数据库创建数据库wechatspider默认采用utf8编码。(如果系统支持可以采用utf8mb4以兼容emoji字符)mysql CREATE DATABASE wechatspider CHARACTER SET utf8;4) 安装和运行Redis$ wget http://download.redis.io/releases/redis-2.8.3.tar.gz$ tar xzvf redis-2.8.3.tar.gz$ cd redis-2.8.3$ make$ make install$ redis-server5) 更新配置文件local_settings在 wechatspider 目录下,添加 local_settings.py 文件,配置如下:# -*- coding: utf-8 -*-SECRET_KEYxxxxxxCRAWLER_DEBUG True# aliyun oss2, 可以将图片和视频存储到阿里云也可以选择不存储爬取速度会更快。 默认不存储。#OSS2_ENABLE True#OSS2_CONFIG {# ACCESS_KEY_ID: XXXXXXXXXXXXXX,# ACCESS_KEY_SECRET: YYYYYYYYYYYYYYYYYYYYYY,# ENDPOINT: ,# BUCKET_DOMAIN: oss-cn-hangzhou.aliyuncs.com,# BUCKET_NAME: XXXXX,# IMAGES_PATH: images/,# VIDEOS_PATH: videos/,# CDN_DOMAIN: XXXXXX.oss-cn-hangzhou.aliyuncs.com#}# mysql 数据库配置DATABASES {default: {ENGINE: django.db.backends.mysql,HOST: 127.0.0.1,NAME: wechatspider,USER: root,PASSWORD: ,OPTIONS:{charset: utf8mb4, }, }}# redis配置,用于消息队列和k-v存储REDIS_OPTIONS {host: localhost,port: 6379,password: ,db: 4}6) 初始化表$ python manage.py migrate7)启动网站python manage.py runserver 0.0.0.0:8001访问 http://localhost:8001/。6) 创建超级管理员账号,访问后台并配置要爬取的公众号和关键字python manage.py createsuperuser8)启动爬虫$ python bin/scheduler.py$ python bin/downloader.py$ python bin/extractor.py$ python bin/processor.py以上步骤执行成功并能爬取文章后可以考虑使用 uwsgi nginx 在生产环境部署。项目 github 地址 https://github.com/bowenpay/wechat-spider(完)
