介绍北京的网站html,中国网站免费服务器,工商局网站年检怎么做,公共空间设计网站cookie登陆适用场景#xff1a; 适用场景#xff1a;数据采集的时候#xff0c;需要绕过登陆#xff0c;然后进入到某个页面
# 适用场景#xff1a;数据采集的时候#xff0c;需要绕过登陆#xff0c;然后进入到某个页面
import urllib.requesturl https://weibo.cn/7…cookie登陆适用场景 适用场景数据采集的时候需要绕过登陆然后进入到某个页面
# 适用场景数据采集的时候需要绕过登陆然后进入到某个页面
import urllib.requesturl https://weibo.cn/7122597640/infoheaders {# referer 判断当前路径是不是由上一个路径进来的 一般情况下 是做图片防盗链referer: https://weibo.cn/,user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.79,
}# 请求对象的定制
request urllib.request.Request(url, headersheaders)
# 模拟浏览器发送请求
response urllib.request.urlopen(request)
# 获取响应数据
content response.read().decode(utf-8)
# 保存到本地
fp open(files/weibo.html, w, encodingutf-8)
fp.write(content)报错 但是查看网页源码还是utf-8是因为还没有进入到个人信息页面而是跳转到了登陆界面而登陆界面是gb2312编码所以把
content response.read().decode(utf-8)改为
content response.read().decode(gb2312)但是爬取到的页面是登陆界面所以还要在headers加上cookie和referer因为cookie中携带着你的登陆信息如果有登陆之后的cookie那么我们就可以携带着cookie进入到任何页面但是并不是所有的反爬都只有cookie可能还会有referer等等还有刚刚的gb2312修改回utf-8
headers {# cookie中携带着你的登陆信息 如果有登陆之后的cookie 那么我们就可以携带着cookie进入到任何页面cookie:,# referer 判断当前路径是不是由上一个路径进来的 一般情况下 是做图片防盗链referer: https://weibo.cn/,user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.79,
}完整代码
# 适用场景数据采集的时候需要绕过登陆然后进入到某个页面
import urllib.requesturl https://weibo.cn/7122597640/infoheaders {# cookie中携带着你的登陆信息 如果有登陆之后的cookie 那么我们就可以携带着cookie进入到任何页面cookie: ,# referer 判断当前路径是不是由上一个路径进来的 一般情况下 是做图片防盗链referer: https://weibo.cn/,user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.79,
}# 请求对象的定制
request urllib.request.Request(url, headersheaders)
# 模拟浏览器发送请求
response urllib.request.urlopen(request)
# 获取响应数据
content response.read().decode(utf-8)
# 保存到本地
fp open(files/weibo.html, w, encodingutf-8)
fp.write(content)也可以尝试爬取一下QQ空间
