制作网站什么制作软件,如何查域名备案信息查询,扬州市建设局网站 竣工备案,注册一个网站多少钱?还有4天就世界杯了#xff0c;作为一个资深#xff08;伪#xff09;球迷#xff0c;必须要实时关注世界杯相关新闻#xff0c;了解各个球队动态#xff0c;这样才能在一堆球迷中如#xff08;大#xff09;鱼#xff08;吹#xff09;得#xff08;特#xff09;水… 还有4天就世界杯了作为一个资深伪球迷必须要实时关注世界杯相关新闻了解各个球队动态这样才能在一堆球迷中如大鱼吹得特水吹迎接大家仰慕的目光! 给大家分享一个快速了解相关信息的办法刷论坛我们来一起做个虎扑论坛的爬虫吧 抓包获取虎扑论坛相关帖子内容逐条显示 先来观察下网页打开论坛首页选择国际足球 然后往下拉找到世界杯相关内容 这里就是我们的目标了所有相关的新闻都会在这里显示用F12打开“开发者工具”然后往下浏览看看数据包 注意箭头指向的那几个地方 这就是刚才浏览的新闻所在的json包来看看具体数据是什么 ok标题、地址、发布时间包括来源都已经出现了!我们可以直接抓取json数据然后取出相关内容 再进入具体新闻页面看看 所有的文本内容都在 这个标签下的 标签内我们可以用xpath直接取div下的所有文本内容! 这里就不一 一说明了直接上代码并录个小的GIF图片给大家看看效果 #author Q群542110741
# -*- coding:utf-8 -*-
import requests
from lxml import etreeheader {User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64; rv:60.0) Gecko/20100101 Firefox/60.0,Host:soccer.hupu.com,Referer:https://soccer.hupu.com/}
i 0
while 1:#构建循环页面翻页url https://soccer.hupu.com/home/latest-news?league世界杯pagei 1#获取json数据一页20个html requests.get(urlstr(i),headersheader).json()[result]for info in html:time_r info[time]#发布时间title info[title]#标题url_r info[url]#新闻链接origin info[origin]#来源print(title)print(发布时间:,time_r, *5,来自,origin)head headerhead[Host] voice.hupu.com#更改header中Host参数html_r requests.get(url_r,headershead)#获取新闻详情html_r.encoding utf-8#编码格式指定#获取div下的所有文本datas etree.HTML(html_r.text).xpath(//div[classartical-content-read])[0].xpath(string(.)).strip()print(\n内容\n*2,datas,\n)#可由用户手动退出循环if input(任意键继续“q”退出) in [q, Q]:exit() 现在我们可以快乐的刷刷论坛积累最新资讯秒杀一切挡在我们前装进B道路上的渣渣吧~ 欢迎大家关注私信我一起学习一起看球
