个人适合建什么网站,少儿编程有没有必要学,vi设计手册范本,泉州网站建设公司首选指服务器端通过校验usr-agent 来区分正常用户和爬虫程序的手段#xff0c;是较为初级的爬虫。 一般是在做请求的 header 中。 user-agent 记录了请求的设备信息#xff0c;如果在请求的时候没带 user-agent 可以视为爬虫故意请求#xff0c;对这样的请求服务器可以拦截。 使… 指服务器端通过校验usr-agent 来区分正常用户和爬虫程序的手段是较为初级的爬虫。 一般是在做请求的 header 中。 user-agent 记录了请求的设备信息如果在请求的时候没带 user-agent 可以视为爬虫故意请求对这样的请求服务器可以拦截。 使用 user_agent 请求数据
import requests
api http://push2.eastmoney.com/api/qt/stock/get?utfa5fd1943c7b386f172d6893dbfba10binvt2fltt2fieldsf43,f85,f86, \f46,f44,f51,f168,f47,f164,f116,f60,f45,f52,f50,f48,f167,f117,f71secid%s % (secid)
headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36
}
res requests.get(api, headersheaders, timeout10).json()
Nginx 拒绝 user-agent 异常访问
1、进入nginx的配置目录例如cd /usr/local/nginx/conf 2、添加agent_deny.conf配置文件 vim agent_deny.conf
#禁止Scrapy等爬虫工具的抓取
if ($http_user_agent ~* Scrapy|Sogou web spider|Baiduspider) {return 403;
}
#禁止指定UA及UA为空的访问
if ($http_user_agent ~ FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|LinkpadBot|Ezooms|^$ )
{return 403;
}
#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {return 403;
}常用的 user-agent
在实际爬取过程中可能需要多个随机 user_agent 下面给出可能需要用到的 user_agent,如果是分布式爬虫随机取出一个 user_agent 放入 header 中
USER_AGENTS [Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1,Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11,Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6,Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6,Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1,Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5,Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5,Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3,Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3,Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0),Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3,Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3,Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE),Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3,Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3,Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3,Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24,Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24
]
user_agent random.choice(USER_AGENTS)
request.headers[User-Agent] user_agent
