集团官方网站建设方案,家装设计图纸,找人做网站内容自己编辑吗,产品网站怎么做的在我们日常上网浏览网页的时候#xff0c;经常会看到一些好看的图片#xff0c;我们就希望把这些图片保存下载#xff0c;或者用户用来做桌面壁纸#xff0c;或者用来做设计的素材。其实我们可以通过python 来实现这样一个简单的爬虫功能#xff0c;把我们想要的代码爬取到…在我们日常上网浏览网页的时候经常会看到一些好看的图片我们就希望把这些图片保存下载或者用户用来做桌面壁纸或者用来做设计的素材。其实我们可以通过python 来实现这样一个简单的爬虫功能把我们想要的代码爬取到本地。网络爬虫也叫网络蜘蛛Web Spider。它根据网页地址URL爬取网页内容而网页地址URL就是我们在浏览器中输入的网站链接。比如https://www.baidu.com/它就是一个URL。
在讲解爬虫内容之前我们需要先学习一项写爬虫的必备技能审查元素如果已掌握可跳过此部分内容。
1. 审查元素
在浏览器的地址栏输入URL地址在网页处右键单击找到检查如下图所示不同浏览器的叫法不同Chrome浏览器叫做检查Firefox浏览器叫做查看元素但是功能都是相同的
浏览器就是作为客户端从服务器端获取信息然后将信息解析并展示给我们的。我们可以在本地修改HTML信息为网页整容但是我们修改的信息不会回传到服务器服务器存储的HTML信息不会改变。刷新一下界面页面还会回到原本的样子。这就跟人整容一样我们能改变一些表面的东西但是不能改变我们的基因。
2 简单实例
网络爬虫的第一步就是根据URL获取网页的HTML信息。在Python3中可以使用urllib.request和requests进行网页爬取。
urllib库是python内置的无需我们额外安装只要安装了Python就可以使用这个库。
requests库是第三方库需要我们自己安装。
requests库强大好用所以本文使用requests库获取网页的HTML信息。requests库的github地址https://github.com/requests/requests
1 requests安装
在学习使用requests库之前我们需要在电脑中安装好requests库。在cmd中使用如下指令安装requests库
pip install requests
easy_install requests
使用pip和easy_install都可以安装二选一即可
3简单实例
安装好requests库之后我们先来大体浏览一下requests库的基础方法
requests库的开发者为我们提供了详细的中文教程查询起来很方便。本文不会对其所有内容进行讲解摘取其部分使用到的内容进行实战说明。
# -*- coding:UTF-8 -*- import requests if __name__ __main__: target http://gitbook.cn/ req requests.get(urltarget) print(req.text)
1. 小说下载
1实战背景
《笔趣看》是一个盗版小说网站这里有很多起点中文网的小说该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度。并且该网站只支持在线浏览不支持小说打包下载。因此本次实战就是从该网站爬取并保存一本名为《一念永恒》的小说该小说是耳根正在连载中的一部玄幻小说。PS本实例仅为交流学习支持耳根大大请上起点中文网订阅。
2小试牛刀
我们先看下《一念永恒》小说的第一章内容URLhttp://www.biqukan.com/1_1094/5403177.html
用已经学到的知识获取HTML信息试一试编写代码如下
# -*- coding:UTF-8 -*- import requests if __name__ __main__: target http://www.biqukan.com/1_1094/5403177.html req requests.get(urltarget) print(req.text)
可以看到我们很轻松地获取了HTML信息。但是很显然很多信息是我们不想看到的我们只想获得如右侧所示的正文内容我们不关心那些看着眼晕的英文字母。如何把正文内容从这些众多的HTML信息中提取出来呢这就是本小节实战的主要内容。
4Beautiful Soup
爬虫的第一步获取整个网页的HTML信息我们已经完成。接下来就是爬虫的第二步解析HTML信息提取我们感兴趣的内容。对于本小节的实战我们感兴趣的内容就是文章的正文。提取的方法有很多例如使用正则表达式、Xpath、Beautiful Soup等。对于初学者而言最容易理解并且使用简单的方法就是使用Beautiful Soup提取感兴趣内容。
Beautiful Soup的安装方法和requests一样使用如下指令安装(也是二选一)
pip install beautifulsoup4
easy_install beautifulsoup4
一个强大的第三方库都会有一个详细的官方文档。我们很幸运Beautiful Soup也是有中文的官方文档。URLhttp://beautifulsoup.readthedocs.io/zh_CN/latest/
同理我会根据实战需求讲解Beautiful Soup库的部分使用方法更详细的内容请查看官方文档。
下面小编在分享一个python 用json形式从豆瓣抓取电影的排行电影名称与分数实例代码如下
from urllib.request import urlopen
import json
### 用json形式从豆瓣抓取电影的排行通过审查元素找到看起来是json格式的链接
def get20Movie(url):
html urlopen(url)
htmlJsonString html.read()
jsonObj json.loads(htmlJsonString.decode()) # decode()很关键
movieNameAndScores []
for each in jsonObj.get(subjects):
movieNameAndScores.append(each.get(title)each.get(rate))
# print(each.get(title)each.get(rate))
return movieNameAndScores
j 0
while 1:
movieNameAndScores get20Movie(https://movie.douban.com/j/search_subjects?typemovietag%E7%83%AD%E9%97%A8sortrecommendpage_limit20page_startstr(j))
for each in movieNameAndScores:
print(each)
j 20
小编欢迎想学习Python的小伙伴一起留言探讨如果想跟小编交流学习请在私信里回复 python 有惊喜哦如果遇到python不懂的地方也可以找小编。
