呼和浩特 网站建设,化学试剂购买网站,地推接单网,如何给自己的公司建网站/前言/今天小编给大家介绍Scrapy中另外一种选择器#xff0c;即大家经常听说的CSS选择器。/CSS基础/CSS选择器和Xpath选择器的功能是一致的#xff0c;都是帮助我们去定位网页结构中的某一个具体的元素#xff0c;但是在语法表达上有区别。Xpath选择器明明已经可以帮助我们提…/前言/今天小编给大家介绍Scrapy中另外一种选择器即大家经常听说的CSS选择器。/CSS基础/CSS选择器和Xpath选择器的功能是一致的都是帮助我们去定位网页结构中的某一个具体的元素但是在语法表达上有区别。Xpath选择器明明已经可以帮助我们提取信息了为什么还要学习CSS选择器呢萝卜青菜各有所爱对于不同知识背景的小伙伴都可以来提取网页信息。只要是能抓到老鼠的猫都是好猫同样的只要能提取信息不论是正则表达式、BeateafulSoup、Xpath选择器亦或是CSS选择器都是好的选择器只不过在效率和难易程度上不一样。此外对应前端的小伙伴来说CSS选择器对他们来说就简单很多。CSS选择器功能强大从实用性出发下面是部分比较常用的一些CSS选择器语法相对来说比较简单但是也是非常实用的语法希望大家都可以牢牢掌握后期在提取网页信息的时候将会事半功倍。有了以上的CSS基础之后接下来我们进行实际应用。/实际应用/仍然以之前的网站为例进行说明我们的目标数据是标题、发布日期、主题、正文内容、点赞数、收藏数、评论数等。1、关于标题部分之前我们利用Xpath的表达式的时候就分析过得到了唯一性的定位标签在此不再赘述如下图所示。2、仍然利用scrapyshell的调试模式进行助攻结合上边的CSS基础语法标题的具体CSS表达式如下图所示。需要注意的是在CSS中获取标签文本内容的方式是在CSS表达式后边紧跟“::text”记住是有两个冒号噢与Xpath表达式不一样。这个表达式看上去比Xpath表达式要简洁一些所以当某些情况下大家如果觉得CSS选择器的表达式比Xpath表达式要简短或者理解起来相对容易的话可以首选CSS选择器没有具体的要求大家根据自己的喜爱来进行选择即可反之亦成立当然也可以同时在一个爬虫文件将两个或者多个选择器进行交叉使用。3、接下来是发布日期的提取仍然是以交互式的方式实现网页与源码之间的交互其中标签“entry-meta-hide-on-mobile”具有全局唯一性可以很方便的定位到元素如下图所示。4、根据网页结构我们可轻易的写出发布日期的CSS表达式可以在scrapy shell中先进行测试再将选择器表达式写入爬虫文件中详情如下图所示。5、关于文章主题标签的CSS表达式可以看到其在网页结构上处于日期的下方如下图所示。6、通过更改一下发布日期的CSS表达式即可获取到文章主题标签。文章主题标签处于a标签下如下图所示。获取到整个列表之后利用join函数将数组中的元素以逗号连接生成一个新的字符串叫tags然后写入Scrapy爬虫文件中去。7、对于点赞数其分析方法同之前一致找到唯一的一个标签“vote-post-up”即可定位到数据。8、点赞数在h10标签下根据网页结构写出CSS表达式调试的过程如下图所示。取出的点赞数是个字符串需要利用int()将其强制转换为数字。/小结/本文基于CSS理论基础主要介绍了CSS选择器的简单语法和利用CSS选择器做相关数据采集下一篇文章将继续分享CSS表达式数据采集方法敬请期待希望对大家的学习有帮助。想学习更多关于Python的知识可以参考学习网址点击阅读原文可以直达噢~【编辑推荐】【责任编辑姜华 TEL(010)68476606】点赞 0
