公司网站后台密码,网站建设哈尔滨app开发2,潍坊网站建设wfyckj,c 网站开发流程图import requests #导入requests模块
#UA#xff1a;User-Agnet:请求载体身份标识
#UA检测#xff1a;各大门户网站的服务器都会检测请求载体的身份标识#xff0c;如果请求载体的身份标识为某一款服务器#xff0c;
#则该请求为正常请求#xff0c;如果请求载体的身份标识…import requests #导入requests模块
#UAUser-Agnet:请求载体身份标识
#UA检测各大门户网站的服务器都会检测请求载体的身份标识如果请求载体的身份标识为某一款服务器
#则该请求为正常请求如果请求载体的身份标识为某个爬虫程序则服务器很可能拒绝该请求
#UA伪装将爬虫程序伪装成某款浏览器
#指定URL
#如果该python文件为入口程序则执行if语句下的代码
if __name____main__:urlhttps://www.sogou.com/web#进行UA伪装模拟浏览器注意将User-Agent封装在一个字典中headers{User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 }#url携带参数参数封装在一个字典中wordinput(enter a word:)params {query:word}#向服务器发起请求url携带参数并在请求过程中处理了参数responserequests.get(urlurl,headersheaders,paramsparams)#获取字符串形式的响应数据page_textresponse.text#持久化存储写入一个文件fileNameword.htmlwith open(fileName,w,encodingutf8) as fp:fp.write(page_text)print(fileName网页采集成功)
