专门做微信推送的网站,企业查询系统官网,网站seo优化合同,网站设置搜索框是什么知识点一、项目需求 要求爬取某单位网站#xff0c;登录后台查看是否有新增“网友提问”#xff0c;如果有新的提问#xff0c;向特定邮箱发出提醒邮件。
二、项目分析
#xff08;一#xff09;判断是否可用爬虫爬取相关内容
首先查看该网站的robots.txt文件#xff0c;发现…一、项目需求 要求爬取某单位网站登录后台查看是否有新增“网友提问”如果有新的提问向特定邮箱发出提醒邮件。
二、项目分析
一判断是否可用爬虫爬取相关内容
首先查看该网站的robots.txt文件发现不存在该文件由于未禁止可用爬取取相关信息。
二操作流程分析
查看是否有网友提问的操作流程如下。
1、登录网站后台管理页面
2、登录成功后点击“互动平台” 。 3、点击互动平台后浏览器会打开新页面互动平台 4、互动平台页面上端有一个选项卡在选项卡中可以选择“依申请公开”或是“网上问答”但已选项显示内容是“依申请公开”还是“网上问答”无法预见这其由最后一次对选项卡的操作决定。互动平台页面右侧显示的是待办办件这里显示的就是需要提醒的内容。 在这里我们需要查看“网上问答”部分有无新的问题有新问题的话需要通过邮件提醒管理员。 三、解决方案和所需知识
由于访问特定信息需要进行一系列操作互动由于Selenium可以操作浏览器不用理会涉及页面渲染一类的复杂问题所以这里我们选择Selenium作为爬虫解决方案。
第一步需要通过Python和Selenium实现对浏览器的相关操作获取特定网页中的内容。
第二步是通过电子邮件将提醒内容发至管理员。
需要学习Python、HTML、Selenium以及如何通过Python利用SMTP服务器发送信息有关的知识。
下面我们分几步进行学习首先学习如何利用Python和Selenium操作浏览器和获取页面中的信息。
