专业柳州网站建设推荐,简单的购物网站源码,销售平台网站建设方案模板,wordpress 不允许评论综述
爬虫入门之后#xff0c;我们有两条路可以走。 一个是继续深入学习#xff0c;以及关于设计模式的一些知识#xff0c;强化 Python 相关知识#xff0c;自己动手造轮子#xff0c;继续为自己的爬虫增加分布式#xff0c;多线程等功能扩展。另一条路便是学习一些优秀…综述
爬虫入门之后我们有两条路可以走。 一个是继续深入学习以及关于设计模式的一些知识强化 Python 相关知识自己动手造轮子继续为自己的爬虫增加分布式多线程等功能扩展。另一条路便是学习一些优秀的框架先把这些框架用熟可以确保能够应付一些基本的爬虫任务也就是所谓的解决温饱问题然后再深入学习它的源码等知识进一步强化。 就个人而言前一种方法其实就是自己动手造轮子前人其实已经有了一些比较好的框架可以直接拿来用但是为了自己能够研究得更加深入和对爬虫有更全面的了解自己动手去多做。后一种方法就是直接拿来前人已经写好的比较优秀的框架拿来用好首先确保可以完成你想要完成的任务然后自己再深入研究学习。第一种而言自己探索的多对爬虫的知识掌握会比较透彻。第二种拿别人的来用自己方便了可是可能就会没有了深入研究框架的心情还有可能思路被束缚。 不过个人而言我自己偏向后者。造轮子是不错但是就算你造轮子你这不也是在基础类库上造轮子么能拿来用的就拿来用学了框架的作用是确保自己可以满足一些爬虫需求这是最基本的温饱问题。倘若你一直在造轮子到最后都没造出什么来别人找你写个爬虫研究了这么长时间了都写不出来岂不是有点得不偿失所以进阶爬虫我还是建议学习一下框架作为自己的几把武器。至少我们可以做到了就像你拿了把枪上战场了至少你是可以打击敌人的比你一直在磨刀好的多吧
框架概述
博主接触了几个爬虫框架其中比较好用的是 Scrapy 和 PySpider。就个人而言pyspider 上手更简单操作更加简便因为它增加了 WEB 界面写爬虫迅速集成了 phantomjs可以用来抓取 js 渲染的页面。Scrapy 自定义程度高比 PySpider 更底层一些适合学习研究需要学习的相关知识多不过自己拿来研究分布式和多线程等等是非常合适的。 在这里博主会一一把自己的学习经验写出来与大家分享希望大家可以喜欢也希望可以给大家一些帮助。
PySpider
PySpider 是 binux 做的一个爬虫架构的开源化实现。主要的功能需求是
抓取、更新调度多站点的特定的页面需要对页面进行结构化信息提取灵活可扩展稳定可监控
而这也是绝大多数 python 爬虫的需求 —— 定向抓取结构化化解析。但是面对结构迥异的各种网站单一的抓取模式并不一定能满足灵活的抓取控制是必须的。为了达到这个目的单纯的配置文件往往不够灵活于是通过脚本去控制抓取是最后的选择。 而去重调度队列抓取异常处理监控等功能作为框架提供给抓取脚本并保证灵活性。最后加上 web 的编辑调试环境以及 web 任务监控即成为了这套框架。 pyspider 的设计基础是以 python 脚本驱动的抓取环模型爬虫
通过 python 脚本进行结构化信息的提取follow 链接调度抓取控制实现最大的灵活性通过 web 化的脚本编写、调试环境。web 展现调度状态抓取环模型成熟稳定模块间相互独立通过消息队列连接从单进程到多机分布式灵活拓展 pyspider 的架构主要分为 scheduler调度器, fetcher抓取器, processor脚本执行
各个组件间使用消息队列连接除了 scheduler 是单点的fetcher 和 processor 都是可以多实例分布式部署的。 scheduler 负责整体的调度控制任务由 scheduler 发起调度fetcher 抓取网页内容 processor 执行预先编写的 python 脚本输出结果或产生新的提链任务发往 scheduler形成闭环。每个脚本可以灵活使用各种 python 库对页面进行解析使用框架 API 控制下一步抓取动作通过设置回调控制解析动作。
Scrapy Scrapy 是一个为了爬取网站数据提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘信息处理或存储历史数据等一系列的程序中。 其最初是为了页面抓取 (更确切来说网络抓取) 所设计的 也可以应用在获取 API 所返回的数据 (例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy 用途广泛可以用于数据挖掘、监测和自动化测试 Scrapy 使用了 Twisted 异步网络库来处理网络通讯。整体架构大致如下 Scrapy 主要包括了以下组件
引擎 (Scrapy): 用来处理整个系统的数据流处理触发事务 (框架核心)调度器 (Scheduler): 用来接受引擎发过来的请求压入队列中并在引擎再次请求的时候返回。可以想像成一个 URL抓取网页的网址或者说是链接的优先队列由它来决定下一个要抓取的网址是什么同时去除重复的网址下载器 (Downloader): 用于下载网页内容并将网页内容返回给蜘蛛 (Scrapy 下载器是建立在 twisted 这个高效的异步模型上的)爬虫 (Spiders): 爬虫是主要干活的用于从特定的网页中提取自己需要的信息即所谓的实体 (Item)。用户也可以从中提取出链接让 Scrapy 继续抓取下一个页面项目管道 (Pipeline): 负责处理爬虫从网页中抽取的实体主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后将被发送到项目管道并经过几个特定的次序处理数据。下载器中间件 (Downloader Middlewares): 位于 Scrapy 引擎和下载器之间的框架主要是处理 Scrapy 引擎与下载器之间的请求及响应。爬虫中间件 (Spider Middlewares): 介于 Scrapy 引擎和爬虫之间的框架主要工作是处理蜘蛛的响应输入和请求输出。调度中间件 (Scheduler Middewares): 介于 Scrapy 引擎和调度之间的中间件从 Scrapy 引擎发送到调度的请求和响应。
Scrapy 运行流程大概如下
首先引擎从调度器中取出一个链接 (URL) 用于接下来的抓取引擎把 URL 封装成一个请求 (Request) 传给下载器下载器把资源下载下来并封装成应答包 (Response)然后爬虫解析 Response若是解析出实体Item, 则交给实体管道进行进一步的处理。若是解析出的是链接URL, 则把 URL 交给 Scheduler 等待抓取
