php源码网站修改,联盟网站制作,网站建设公司有哪些方面,电商网站平台建设资金预算目标在Win7上建立一个Scrapy爬虫项目#xff0c;以及对其进行基本操作。运行环境#xff1a;电脑上已经安装了python(环境变量path已经设置好)#xff0c;以及scrapy模块#xff0c;IDE为Pycharm 。操作如下#xff1a;一、建立Scrapy模板。进入自己的工作目录#xff0c…目标在Win7上建立一个Scrapy爬虫项目以及对其进行基本操作。运行环境电脑上已经安装了python(环境变量path已经设置好)以及scrapy模块IDE为Pycharm 。操作如下一、建立Scrapy模板。进入自己的工作目录shift 鼠标右键进入命令行模式在命令行模式下输入scrapy startproject 项目名 ,如下看到以上的代码说明项目已经在工作目录中建好了。二、在Pycharm中scrapy的导入。在Pycharm中打开工作目录中的TestDemo点击File- Settings-Project: TestDemo-Project Interpreter。法一 如图选择红框中右边的下拉菜单点击Show All, 如图点击右上角加号如图在红色框体内找到电脑里已经安装的python比如我的是C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\python.exe , 导入即可。之后pycharm会自动导入你已经在电脑上安装的scrapy等模块。如图即红色框体中显示的。法二一个不那么麻烦的方法。如图点击红色框体在弹出的框体内另安装一个scrapy, 如图需要安装的模块如图模块自下而上进行安装其中可能出现twisted包不能成功安装出现Failed building wheel for TwistedMicrosoft Visual C 14.0 is required...的现象那就搜一解决方案这里不多说了。三、Pycharm中scrapy的运行设置。法一Scrapy爬虫的运行需要到命令行下运行在pychram中左下角有个Terminal,点开就可以在Pycharm下进入命令行默认是在项目目录下的要运行项目需要进入下一层目录使用cd TestDemo 进入下一层目录然后用scrapy crawl 爬虫名 即可运行爬虫。如图法二在TestDemoSpider目录和scrapy.cfg同级目录下面新建一个entrypoint.py文件,如图其中只需把红色框体内的内容改成相应的爬虫的名字就可以在不同的爬虫项目中使用了直接运行该文件就能使得Scrapy爬虫运行Tips:在创建爬虫时使用模板更加方便一些如scrapy genspider [-t template] 即scrapy genspider testDemoSpider baidu.com
