做网站需要什么人员,网络科技官网,邢台seo价格,哪个视频网站做直播销售转载自#xff1a;http://blog.csdn.net/heu07111121/article/details/50832999最近尝试使用Scrapy进行数据抓取#xff0c;并尝试在windows7 64位系统上安装scrapy#xff0c;下面总结记录遇到两个问题和解决方法#xff1a;scrapy官网的地址为#xff1a;http://scrapy.… 转载自http://blog.csdn.net/heu07111121/article/details/50832999 最近尝试使用Scrapy进行数据抓取并尝试在windows7 64位系统上安装scrapy下面总结记录遇到两个问题和解决方法 scrapy官网的地址为http://scrapy.org/ 1、首先按照官网的说明直接pip安装scrapy报以下错误提示缺少VC9.0报错信息有给出具体的说明和解决方法。 pip install scrapy error: Microsoft Visual C 9.0 is required (Unable to find vcvarsall.bat). Get it from http://aka.ms/vcpython27 解决方法直接点击下载VCForPython27.msi也直接访问下面的连接https://www.microsoft.com/en-us/download/details.aspx?id44266 2、下载并安装VCForPython27.msi然后再运行pip install scrapy再次报错提示找不到libxml2库。 pip install scrapy c:\users\zjn3645\appdata\local\temp\xmlXPathInit7hkp2z.c(1) : fatal error C1083: Cannot open include file: libxml/xpath.h: No such file or directory ********************************************************************************* Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed? ********************************************************************************* error: command C:\\Users\\zjn3645\\AppData\\Local\\Programs\\Common\\Microsoft\\Visual C for Python\\9.0\\VC\\Bin\\cl.exe failed with exit status 2 解决方法 使用easy_install安装lxml然后再次安装pip install scrapy成功~ easy_install lxml 3、scrapy安装完成运行官网首页的样例报错原因是缺少pywin32 scrapy runspider myspider.py exceptions.ImportError: No module named win32api 2016-03-09 10:17:49 [twisted] CRITICAL: 解决方法按照官方文档的说明安装 Install pywin32 from https://sourceforge.net/projects/pywin32/files/pywin32/ 这里有详细的说明http://doc.scrapy.org/en/latest/intro/install.html#intro-install-platform-notes pywin32有32位和64位版本 对于64位的windows 7如果python环境变量已经正确安装pywin32安装的时候仍然报找不到python的错误尝试pywin32的32位版本。 总结在安装和使用新的工具之前一定要先看看官方文档的说明搞清楚安装和使用的前提条件 4、关闭代理 默认使用代理有些网页使用本地代理无法访问 2016-03-09 15:18:21 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023 2016-03-09 15:18:21 [scrapy] DEBUG: Crawled (403) GET http://xxx.com.cn/xxx.html (referer: None) 2016-03-09 15:18:21 [scrapy] DEBUG: Ignoring response 403 http://xxx.com.cn/xxx.html: HTTP status code is not handled or not allowed 关闭代理 修改settings.py如下 DOWNLOADER_MIDDLEWARES { scrapy.downloadermiddlewares.useragent.UserAgentMiddleware: None, } 转载于:https://www.cnblogs.com/Devopser/p/6393699.html
