建购物的网站需要多少钱,网站底部友情链接,为什么做网站要服务器 和域名,广州网站营销seoimport requests #导入requests模块
#UA#xff1a;User-Agnet:请求载体身份标识
#UA检测#xff1a;各大门户网站的服务器都会检测请求载体的身份标识#xff0c;如果请求载体的身份标识为某一款服务器#xff0c;
#则该请求为正常请求#xff0c;如果请求载体的身份标识…import requests #导入requests模块
#UAUser-Agnet:请求载体身份标识
#UA检测各大门户网站的服务器都会检测请求载体的身份标识如果请求载体的身份标识为某一款服务器
#则该请求为正常请求如果请求载体的身份标识为某个爬虫程序则服务器很可能拒绝该请求
#UA伪装将爬虫程序伪装成某款浏览器
#指定URL
#如果该python文件为入口程序则执行if语句下的代码
if __name____main__:urlhttps://www.sogou.com/web#进行UA伪装模拟浏览器注意将User-Agent封装在一个字典中headers{User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 }#url携带参数参数封装在一个字典中wordinput(enter a word:)params {query:word}#向服务器发起请求url携带参数并在请求过程中处理了参数responserequests.get(urlurl,headersheaders,paramsparams)#获取字符串形式的响应数据page_textresponse.text#持久化存储写入一个文件fileNameword.htmlwith open(fileName,w,encodingutf8) as fp:fp.write(page_text)print(fileName网页采集成功)
