qq网站 直接登录,php 怎么做 网站,个人域名 做公司网站,重庆渝能建设集团有限公司网站文章目录 概要技术细节小结 概要
现在有很多网站#xff0c;已经能够通过JA3或者其他指纹信息#xff0c;来识别你的请求是不是Requests发起的。这种情况下#xff0c;你无论怎么改Headers还是代理#xff0c;都没有任何意义。
我之前写过一篇文章#xff1a;Python如何… 文章目录 概要技术细节小结 概要
现在有很多网站已经能够通过JA3或者其他指纹信息来识别你的请求是不是Requests发起的。这种情况下你无论怎么改Headers还是代理都没有任何意义。
我之前写过一篇文章Python如何突破JA3但方法非常复杂很多初学者表示上手有难度。那么今天我来一个更简单的方法只需要修改两行代码。并且不仅能过JA3还能过Akamai。
先来看一段代码 python
import requests headers { accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,image/apng,*/*;q0.8,application/signed-exchange;vb3;q0.7, accept-language: zh-CN,zh;q0.9,en;q0.8,en-GB;q0.7,en-US;q0.6, cache-control: no-cache, dnt: 1, pragma: no-cache, sec-ch-ua: Chromium;v118, Microsoft Edge;v118, NotA?Brand;v99, sec-ch-ua-mobile: ?0, sec-ch-ua-platform: macOS, sec-fetch-dest: document, sec-fetch-mode: navigate, sec-fetch-site: same-origin, sec-fetch-user: ?1, upgrade-insecure-requests: 1, user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.46,
} response requests.get(https://tls.browserleaks.com/json, headersheaders)
print(response.json())运行效果如下图所示
## 整体架构流程 提示这里可以添加技术整体架构这是直接使用Requests发起的请求。你可以试一试加上代理以后这里的ja3_hash并不会发生变化。并且akamai_hash和akamai_text都是空。这个特征是非常明显的网站直接根据这些特征就可以屏蔽你的爬虫。现在我们使用两行代码解决这个问题。首先安装一个第三方库curl_cffi:python3 -m pip install curl_cffi
然后修改我们这段代码的第一行把import requests改成from curl_cffi import requests。最后在requests.get中加一个参数impersonatechrome110。完整效果如下图所示## 技术名词解释python
import asyncio
from curl_cffi.requests import AsyncSessionurls [https://googel.com/,https://facebook.com/,https://twitter.com/,
]async def main():async with AsyncSession() as s:tasks []for url in urls:task s.get(https://example.com)tasks.append(task)results await asyncio.gather(*tasks)asyncio.run(main())技术细节
完成了。以上就是全部修改。网站已经无法识别你的爬虫了。在网站看来这只是一个Chrome 110版本发起的请求。甚至Akamai需要的签名也都有了。
curl_cffi不仅完全兼容Requests的语法而且还支持Asyncio。要使用异步写法时代码如下
小结
关于curl_cffi的更多用法可以查看它的GithubPython binding for curl-impersonate via cffi[1]
