上海网站开发建,青岛正规的网站建设公司,wordpress 分类导航,网站建设如果登录失败点开其中一个链接#xff0c; http://desk.zol.com.cn/dongman/huoyingrenzhe/#xff08;前面为浏览器自动补全#xff0c;在代码里需要自己补全#xff09;
可以看到图片的下载地址以及打开本图集下一张图片的链接
了解完网站的图片构造后动手写代码#xff0c;我们筛…点开其中一个链接 http://desk.zol.com.cn/dongman/huoyingrenzhe/前面为浏览器自动补全在代码里需要自己补全
可以看到图片的下载地址以及打开本图集下一张图片的链接
了解完网站的图片构造后动手写代码我们筛选出图集的链接后通过图集的链接找到第一张图片下载地址和第二张图片的链接通过第二张的链接找到第二张的下载地址和第三张的链接循环下去直到本图集到底接着开始第二个图集直到所有图集下载完毕代码如下为了方便循环我们集成下载图片功能为download函数解析图片网址功能为parses_picture from bs4 import BeautifulSoup
import requestsdef download(img_url, headers, n):req requests.get(img_url, headersheaders)name %s % n img_url[-15:]path rC:\Users\asus\Desktop\火影壁纸1file_name path \\ namef open(file_name, wb)f.write(req.content)f.closedef parses_picture(url, headers, n):url rhttp://desk.zol.com.cn/ urlimg_req requests.get(url, headersheaders)img_req.encoding gb2312html img_req.textbf BeautifulSoup(html, lxml)try:img_url bf.find(div, class_photo).find(img).get(src)download(img_url, headers, n)url1 bf.find(div, idphoto-next).a.get(href)parses_picture(url1, headers, n)except:print(u第%s图片集到头了 % n)if __name__ __main__:url http://desk.zol.com.cn/dongman/huoyingrenzhe/headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36}req requests.get(urlurl, headersheaders)req requests.get(urlurl, headersheaders)req.encoding gb2312html req.textbf BeautifulSoup(html, lxml)targets_url bf.find_all(li, class_photo-list-padding)n 1for each in targets_url:url each.a.get(href)parses_picture(url, headers, n)n n 1 如果要抓取百度上面搜索关键词为Jecvay Notes的网页, 则代码如下
import urllib
import urllib.requestdata{}
data[word]Jecvay Notesurl_valuesurllib.parse.urlencode(data)
urlhttp://www.baidu.com/s?
full_urlurlurl_valuesdataurllib.request.urlopen(full_url).read()
datadata.decode(UTF-8)
print(data)
