网站301跳跳转,wordpress movie,阜新网站建设单位,国外seo比较好的博客网站requests模块的其他方法
学习目标
掌握requests中cookirJar的处理方法掌握requests解决https证书错误的问题掌握requests中超时参数的使用掌握retrying模块的使用 1 requests中cookirJar的处理方法 使用request获取的resposne对象#xff0c;具有cookies属性#xff0c;能够…requests模块的其他方法
学习目标
掌握requests中cookirJar的处理方法掌握requests解决https证书错误的问题掌握requests中超时参数的使用掌握retrying模块的使用 1 requests中cookirJar的处理方法 使用request获取的resposne对象具有cookies属性能够获取对方服务器设置在本地的cookie但是如何使用这些cookie呢 1.1 方法介绍
response.cookies是CookieJar类型使用requests.utils.dict_from_cookiejar能够实现把cookiejar对象转化为字典
1.2 方法展示
import requestsurl http://www.baidu.com
#发送请求获取resposne
response requests.get(url)
print(type(response.cookies))#使用方法从cookiejar中提取数据
cookies requests.utils.dict_from_cookiejar(response.cookies)
print(cookies)输出为:
class requests.cookies.RequestsCookieJar
{BDORZ: 27315}注意
在前面的requests的session类中我们不需要处理cookie的任何细节如果有需要我们可以使用上述方法来解决
2 requests处理证书错误 经常我们在网上冲浪时经常能够看到下面的提示 出现这个问题的原因是ssl的证书不安全导致
2.1 代码中发起请求的效果
那么如果在代码中请求会怎么样呢
import requestsurl https://www.12306.cn/mormhweb/
response requests.get(url)返回证书错误如下
ssl.CertificateError ...2.2 解决方案
为了在代码中能够正常的请求我们修改添加一个参数
import requestsurl https://www.12306.cn/mormhweb/# requests.packages.urllib3.disable_warnings() # 不显示安全提示 response requests.get(url,verifyFalse)3 超时参数的使用 在平时网上冲浪的过程中我们经常会遇到网络波动这个时候一个请求等了很久可能任然没有结果 在爬虫中一个请求很久没有结果就会让整个项目的效率变得非常低这个时候我们就需要对请求进行强制要求让他必须在特定的时间内返回结果否则就报错 3.1 超时参数使用方法如下
response requests.get(url,timeout3)通过添加timeout参数能够保证在3秒钟内返回响应否则会报错
注意
这个方法还能够拿来检测代理ip的质量如果一个代理ip在很长时间没有响应那么添加超时之后也会报错对应的这个ip就可以从代理ip池中删除
4 retrying模块的使用 使用超时参数能够加快我们整体的请求速度但是在正常的网页浏览过成功如果发生速度很慢的情况我们会做的选择是刷新页面那么在代码中我们是否也可以刷新请求呢 对应的retrying模块就可以帮助我们解决
4.1 retrying模块的使用
retrying模块的地址https://pypi.org/project/retrying/
retrying 模块的使用
使用retrying模块提供的retry模块通过装饰器的方式使用让被装饰的函数反复执行retry中可以传入参数stop_max_attempt_number,让函数报错后继续重新执行达到最大执行次数的上限如果每次都报错整个函数报错如果中间有一个成功程序继续往后执行
4.2 retrying和requests的简单封装
实现一个发送请求的函数每次爬虫中直接调用该函数即可实现发送请求在其中
使用timeout实现超时报错使用retrying模块实现重试
代码参考:
# parse.py
import requests
from retrying import retryheaders {}#最大重试3次3次全部报错才会报错
retry(stop_max_attempt_number3)
def _parse_url(url)#超时的时候回报错并重试response requests.get(url, headersheaders, timeout3) #状态码不是200也会报错并重试assert response.status_code 200return responsedef parse_url(url)try: #进行异常捕获response _parse_url(url)except Exception as e:print(e)#报错返回Noneresponse Nonereturn response小结
requests.utils.dict_from_cookiejar能够实现cookiejar转化为字典请求方法中添加verifyFalse能够实现请求过程中不验证证书请求方法中添加timeout能够实现强制程序返回结果的能够否则会报错retrying模块能够实现捕获函数的异常反复执行函数的效果和timeout配合使用能够解决网络波动带来的请求不成功的问题
