在中筹网站上做众筹,大连市住建局官网,jsp 交互网站开发技术 西安交通大学出版社 2005.10,高端的网站推广1.什么是爬虫#xff1f; 请求网站并提取数据的自动化程序 请求#xff1a;客户端向服务端发送请求获得网页资源#xff0c;是一段html代码#xff0c;包含html标签和一段信息。 提取#xff1a;提取出想要的信息#xff0c;然后将结构化的数据存储到文本 自动化#xf…1.什么是爬虫 请求网站并提取数据的自动化程序 请求客户端向服务端发送请求获得网页资源是一段html代码包含html标签和一段信息。 提取提取出想要的信息然后将结构化的数据存储到文本 自动化写完程序一直运行着代替客户端向服务端发送请求可以大量的获得数据 爬虫四部 1.发起请求通过http库向发起请求即发送一个Request请求可以包含额外的headers等信息等待服务器响应。 2 .获取响应内容如果服务器能正常响应会获得一个ResponseResponse内容便是所要获取的页面内容。类型可能有htmlmjson字符串 二进制数据如图片、视频等类型。 3.解析内容得到的内容可能是html可以用正则表达式网页解析库进行解析可能是json可以直接转换为json对象解析可能是二进制数据 可以作保存或者进一步的处理。 4.保存数据保存形式多样可以保存文本也可以保存数据库也可以保存特定格式的文件。 请求的参数包含在哪一个方面。 get请求直接输入url回车 post请求需要构建表单点击表单提交登陆账户点击提交就是发送post请求因为登陆账户会有隐私不能直接放在url里需要做成表单提交。 1. Request主要构成 请求方式主要有get,post两种方式其他的方式还有headputdeleteoptions。 request method 请求URLurl全称资源统一定位符。任何一个软件文档资源都可以用url来唯一确定。 requeset url 请求头包含请求时的头部信息。如user_Agent,cookies,Host request headers 请求体请求时额外携带的数据。如表单提交时的表单数据。 提交表单时候的表单数据 format 2.Response 主要构成 1.响应状态200代表成功301代表跳转404找不到页面502服务器错误。状态码 status code 200 ok 表示请求正常发送服务器正常响应网页的响应状态 2.响应头如内容类型内容长度服务器信息设置cookie等等。 reponse headers 3.响应体最主要的部分包含了请求资源的内容如网页HTML图片二进制数据等。 具体实例 import requests response requests.get(http://www.baidu.com) response.text # 可以拿到网页源码响应体 开始对网页进行解析 response.headers 查看响应头 response status_code 拿到响应状态 response.content 获得响应体的二进制 第一次爬虫兴奋虽然是最简单的一个图片 import requestsresponse requests.get( https://img4.duitang.com/uploads/item/201603/01/20160301162401_fc4Rv.jpeg) with open(rD:\\sylm,wb) as f:
... f.write(response.content)
... f.close() 第一次爬小姐姐图片 转载于:https://www.cnblogs.com/Roc-Atlantis/p/9346850.html
