2015选择做导航网站,北京商场恢复营业,网站开发完以后交付源代码,最好的网站建设组织在上一节我们学习了 PhantomJS 的基本用法#xff0c;归根结底它是一个没有界面的浏览器#xff0c;而且运行的是 JavaScript 脚本#xff0c;然而这就能写爬虫了吗#xff1f;这又和 Python 有什么关系#xff1f;说好的 Python 爬虫呢#xff1f;别急#xff0c;接下来…在上一节我们学习了 PhantomJS 的基本用法归根结底它是一个没有界面的浏览器而且运行的是 JavaScript 脚本然而这就能写爬虫了吗这又和 Python 有什么关系说好的 Python 爬虫呢别急接下来我们介绍的这个工具统统解决掉你的疑惑。
简介
Selenium 是什么一句话自动化测试工具。它支持各种浏览器包括 ChromeSafariFirefox 等主流界面式浏览器如果你在这些浏览器里面安装一个 Selenium 的插件那么便可以方便地实现 Web 界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。话说回来PhantomJS 不也是一个浏览器吗那么 Selenium 支持不答案是肯定的这样二者便可以实现无缝对接了。 然后又有什么好消息呢Selenium 支持多种语言开发比如 JavaCRuby 等等有 Python 吗那是必须的哦这可真是天大的好消息啊。 嗯所以呢安装一下 Python 的 Selenium 库再安装好 PhantomJS不就可以实现 PythonSeleniumPhantomJS 的无缝对接了嘛PhantomJS 用来渲染解析 JSSelenium 用来驱动以及与 Python 的对接Python 进行后期的处理完美的三剑客 有人问为什么不直接用浏览器而用一个没界面的 PhantomJS 呢答案是效率高 Selenium 有两个版本目前最新版本是 2.53.12016/3/22 Selenium 2又名 WebDriver它的主要新功能是集成了 Selenium 1.0 以及 WebDriverWebDriver 曾经是 Selenium 的竞争对手。也就是说 Selenium 2 是 Selenium 和 WebDriver 两个项目的合并即 Selenium 2 兼容 Selenium它既支持 Selenium API 也支持 WebDriver API。 更多详情可以查看 Webdriver 的简介。 Webdriver 嗯通过以上描述我们应该对 Selenium 有了大概对认识接下来就让我们开始进入动态爬取的新世界吧。 本文参考内容来自 Selenium 官网 和SeleniumPython 文档
安装
首先安装 Selenium
pip install selenium或者下载源码然后解压后运行下面的命令进行安装
python setup.py install初步体验
我们先来一个小例子感受一下 Selenium这里我们用 Chrome 浏览器来测试方便查看效果到真正爬取的时候换回 PhantomJS 即可。
from selenium import webdriverbrowser webdriver.Chrome()
browser.get(http://www.baidu.com/)运行这段代码会自动打开浏览器然后访问百度。 如果程序执行错误浏览器没有打开那么应该是没有装 Chrome 浏览器或者 Chrome 驱动没有配置在环境变量里。下载驱动然后将驱动文件路径配置在环境变量即可。 我将chromedriver.exe文件放在谷歌浏览器安装目录C:\Program Files (x86)\Google\Chrome\Application下其它路径也行然后将此路径添加到环境变量 浏览器驱动下载 chromedriver 谷歌、火狐、IE浏览器驱动
模拟提交
下面的代码实现了模拟提交提交搜索的功能首先等页面加载完成然后输入到搜索框文本点击提交。
from selenium import webdriver
from selenium.webdriver.common.keys import Keysdriver webdriver.Chrome()
driver.get(http://www.python.org)
assert Python in driver.title
elem driver.find_element_by_name(q)
elem.send_keys(pycon)
elem.send_keys(Keys.RETURN)
print driver.page_source同样是在 Chrome 里面测试感受一下。 The driver.get method will navigate to a page given by the URL. WebDriver will wait until the page has fully loaded (that is, the “onload” event has fired) before returning control to your test or script. It’s worth noting that if your page uses a lot of AJAX on load then WebDriver may not know when it has completely loaded. 其中 driver.get 方法会打开请求的 URLWebDriver 会等待页面完全加载完成之后才会返回即程序会等待页面的所有内容加载完成JS 渲染完毕之后才继续往下执行。注意如果这里用到了特别多的 Ajax 的话程序可能不知道是否已经完全加载完毕。 WebDriver offers a number of ways to find elements using one of the findelement_by* methods. For example, the input text element can be located by its name attribute using find_element_by_name method WebDriver 提供了许多寻找网页元素的方法譬如 findelement_by* 的方法。例如一个输入框可以通过 find_element_by_name 方法寻找 name 属性来确定。 Next we are sending keys, this is similar to entering keys using your keyboard. Special keys can be send using Keys class imported from selenium.webdriver.common.keys 然后我们输入来文本然后模拟点击了回车就像我们敲击键盘一样。我们可以利用 Keys 这个类来模拟键盘输入。 最后最重要的一点 获取网页渲染后的源代码。 输出 page_source 属性即可。 这样我们就可以做到网页的动态爬取了。
测试用例
有了以上特性我们当然可以用来写测试样例了
import unittest
from selenium import webdriver
from selenium.webdriver.common.keys import Keysclass PythonOrgSearch(unittest.TestCase):def setUp(self):self.driver webdriver.Chrome()def test_search_in_python_org(self):driver self.driverdriver.get(http://www.python.org)self.assertIn(Python, driver.title)elem driver.find_element_by_name(q)elem.send_keys(pycon)elem.send_keys(Keys.RETURN)assert No results found. not in driver.page_sourcedef tearDown(self):self.driver.close()if __name__ __main__:unittest.main()运行程序同样的功能我们将其封装为测试标准类的形式 The test case class is inherited from unittest.TestCase. Inheriting from TestCase class is the way to tell unittest module that this is a test case. The setUp is part of initialization, this method will get called before every test function which you are going to write in this test case class. The test case method should always start with characters test. The tearDown method will get called after every test method. This is a place to do all cleanup actions. You can also call quit method instead of close. The quit will exit the entire browser, whereas close will close a tab, but if it is the only tab opened, by default most browser will exit entirely. 测试用例是继承了 unittest.TestCase 类继承这个类表明这是一个测试类。setUp 方法是初始化的方法这个方法会在每个测试类中自动调用。每一个测试方法命名都有规范必须以 test 开头会自动执行。最后的 tearDown 方法会在每一个测试方法结束之后调用。这相当于最后的析构方法。在这个方法里写的是 close 方法你还可以写 quit 方法。不过 close 方法相当于关闭了这个 TAB 选项卡然而 quit 是退出了整个浏览器。当你只开启了一个 TAB 选项卡的时候关闭的时候也会将整个浏览器关闭。
页面交互
仅仅抓取页面没有多大卵用我们真正要做的是做到和页面交互比如点击输入等等。那么前提就是要找到页面中的元素。WebDriver 提供了各种方法来寻找元素。例如下面有一个表单输入框。
input typetext namepasswd idpasswd-id /element driver.find_element_by_id(passwd-id)
element driver.find_element_by_name(passwd)
element driver.find_elements_by_tag_name(input)
element driver.find_element_by_xpath(//input[idpasswd-id])你还可以通过它的文本链接来获取但是要小心文本必须完全匹配才可以所以这并不是一个很好的匹配方式。 而且你在用 xpath 的时候还需要注意的是如果有多个元素匹配了 xpath它只会返回第一个匹配的元素。如果没有找到那么会抛出 NoSuchElementException 的异常。 获取了元素之后下一步当然就是向文本输入内容了可以利用下面的方法
element.send_keys(some text)同样你还可以利用 Keys 这个类来模拟点击某个按键。
element.send_keys(and some, Keys.ARROW_DOWN)你可以对任何获取到到元素使用 send_keys 方法就像你在 GMail 里面点击发送键一样。不过这样会导致的结果就是输入的文本不会自动清除。所以输入的文本都会在原来的基础上继续输入。你可以用下面的方法来清除输入文本的内容。这样输入的文本会被清除。
element.clear()填充表单
我们已经知道了怎样向文本框中输入文字但是其它的表单元素呢例如下拉选项卡的的处理可以如下
element driver.find_element_by_xpath(//select[namename])
all_options element.find_elements_by_tag_name(option)
for option in all_options:print(Value is: %s % option.get_attribute(value))option.click()首先获取了第一个 select 元素也就是下拉选项卡。然后轮流设置了 select 选项卡中的每一个 option 选项。你可以看到这并不是一个非常有效的方法。 其实 WebDriver 中提供了一个叫 Select 的方法可以帮助我们完成这些事情。
from selenium.webdriver.support.ui import Select
select Select(driver.find_element_by_name(name))
select.select_by_index(index)
select.select_by_visible_text(text)
select.select_by_value(value)如你所见它可以根据索引来选择可以根据值来选择可以根据文字来选择。是十分方便的。 全部取消选择怎么办呢很简单
select Select(driver.find_element_by_id(id))
select.deselect_all()这样便可以取消所有的选择。 另外我们还可以通过下面的方法获取所有的已选选项。
select Select(driver.find_element_by_xpath(xpath))
all_selected_options select.all_selected_options获取所有可选选项是
options select.options如果你把表单都填好了最后肯定要提交表单对吧。怎吗提交呢很简单
driver.find_element_by_id(submit).click()这样就相当于模拟点击了 submit 按钮做到表单提交。 当然你也可以单独提交某个元素
element.submit()方法WebDriver 会在表单中寻找它所在的表单如果发现这个元素并没有被表单所包围那么程序会抛出 NoSuchElementException 的异常。
元素拖拽
要完成元素的拖拽首先你需要指定被拖动的元素和拖动目标元素然后利用 ActionChains 类来实现。
element driver.find_element_by_name(source)
target driver.find_element_by_name(target)from selenium.webdriver import ActionChains
action_chains ActionChains(driver)
action_chains.drag_and_drop(element, target).perform()这样就实现了元素从 source 拖动到 target 的操作。
页面切换
一个浏览器肯定会有很多窗口所以我们肯定要有方法来实现窗口的切换。切换窗口的方法如下
driver.switch_to_window(windowName)另外你可以使用 window_handles 方法来获取每个窗口的操作对象。例如
for handle in driver.window_handles:driver.switch_to_window(handle)另外切换 frame 的方法如下
driver.switch_to_frame(frameName.0.child)这样焦点会切换到一个 name 为 child 的 frame 上。
弹窗处理
当你出发了某个事件之后页面出现了弹窗提示那么你怎样来处理这个提示或者获取提示信息呢
alert driver.switch_to_alert()通过上述方法可以获取弹窗对象。
历史记录
那么怎样来操作页面的前进和后退功能呢
driver.forward()
driver.back()Cookies 处理
为页面添加 Cookies用法如下
# Go to the correct domain
driver.get(http://www.example.com)# Now set the cookie. This ones valid for the entire domain
cookie {‘name’ : ‘foo’, ‘value’ : ‘bar’}
driver.add_cookie(cookie)获取页面 Cookies用法如下
# Go to the correct domain
driver.get(http://www.example.com)# And now output all the available cookies for the current URL
driver.get_cookies()元素获取
关于元素的选取有如下的 API 单个元素选取 find_element_by_id find_element_by_name find_element_by_xpath find_element_by_link_text find_element_by_partial_link_text find_element_by_tag_name find_element_by_class_name find_element_by_css_selector 多个元素选取 find_elements_by_name find_elements_by_xpath find_elements_by_link_text find_elements_by_partial_link_text find_elements_by_tag_name find_elements_by_class_name find_elements_by_css_selector 另外还可以利用 By 类来确定哪种选择方式
from selenium.webdriver.common.by import Bydriver.find_element(By.XPATH, //button[text()Some text])
driver.find_elements(By.XPATH, //button)By类的一些属性如下
ID id
XPATH xpath
LINK_TEXT link text
PARTIAL_LINK_TEXT partial link text
NAME name
TAG_NAME tag name
CLASS_NAME class name
CSS_SELECTOR css selector更详细的元素选择方法参见官方文档 元素选择
等待页面加载
现在的大多数的Web应用程序是使用Ajax技术。当一个页面被加载到浏览器时 该页面内的元素可以在不同的时间点被加载。这使得定位元素变得困难 如果元素不再页面之中会抛出 ElementNotVisibleException 异常。 使用 waits, 我们可以解决这个问题。waits提供了一些操作之间的时间间隔- 主要是定位元素或针对该元素的任何其他操作。
Selenium Webdriver 提供两种类型的waits - 隐式和显式。 显式等待会让WebDriver等待满足一定的条件以后再进一步的执行。 而隐式等待让Webdriver等待一定的时间后再才是查找某元素。
显示等待
显式等待是你在代码中定义等待一定条件发生后再进一步执行你的代码。 最糟糕的案例是使用time.sleep()它将条件设置为等待一个确切的时间段。 这里有一些方便的方法让你只等待需要的时间。WebDriverWait结合ExpectedCondition 是实现的一种方式。
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ECdriver webdriver.Firefox()
driver.get(http://somedomain/url_that_delays_loading)
try:element WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, myDynamicElement)))
finally:driver.quit()在抛出TimeoutException异常之前将等待10秒或者在10秒内发现了查找的元素。 WebDriverWait 默认情况下会每500毫秒调用一次ExpectedCondition直到结果成功返回。 ExpectedCondition成功的返回结果是一个布尔类型的true或是不为null的返回值。 预期的条件 下面是一些内置的等待条件你可以直接调用这些条件而不用自己写某些等待条件了。 title_is title_contains presence_of_element_located visibility_of_element_located visibility_of presence_of_all_elements_located text_to_be_present_in_element text_to_be_present_in_element_value frame_to_be_available_and_switch_to_it invisibility_of_element_located element_to_be_clickable - it is Displayed and Enabled. staleness_of element_to_be_selected element_located_to_be_selected element_selection_state_to_be element_located_selection_state_to_be alert_is_present 隐式等待
如果某些元素不是立即可用的隐式等待是告诉WebDriver去等待一定的时间后去查找元素。 默认等待时间是0秒一旦设置该值隐式等待是设置该WebDriver的实例的生命周期。
from selenium import webdriverdriver webdriver.Firefox()
driver.implicitly_wait(10) # seconds
driver.get(http://somedomain/url_that_delays_loading)
myDynamicElement driver.find_element_by_id(myDynamicElement)页面对象
一个页面对象表示在你测试的WEB应用程序的用户界面上的区域。 使用页面对象模式的好处:
创建可复用的代码以便于在多个测试用例间共享减少重复的代码量如果用户界面变化只需要修改一处
测试用例
下面是一个在python.org网站搜索一个词并保证一些结果可以找到的测试用例
import unittest
from selenium import webdriver
import pageclass PythonOrgSearch(unittest.TestCase):A sample test class to show how page object worksdef setUp(self):self.driver webdriver.Firefox()self.driver.get(http://www.python.org)def test_search_in_python_org(self):Tests python.org search feature. Searches for the word pycon then verified that some results show up.Note that it does not look for any particular text in search results page. This test verifies thatthe results were not empty.#Load the main page. In this case the home page of Python.org.main_page page.MainPage(self.driver)#Checks if the word Python is in titleassert main_page.is_title_matches(), python.org title doesnt match.#Sets the text of search textbox to pyconmain_page.search_text_element pyconmain_page.click_go_button()search_results_page page.SearchResultsPage(self.driver)#Verifies that the results page is not emptyassert search_results_page.is_results_found(), No results found.def tearDown(self):self.driver.close()if __name__ __main__:unittest.main()页面对象类
页面对象为每个网页模拟创建出一个对象。 按照此技术在测试代码和技术实施之间的一个分离层被创建。 这个 page.py 看起来像这样:
from element import BasePageElement
from locators import MainPageLocatorsclass SearchTextElement(BasePageElement):This class gets the search text from the specified locator#The locator for search box where search string is enteredlocator qclass BasePage(object):Base class to initialize the base page that will be called from all pagesdef __init__(self, driver):self.driver driverclass MainPage(BasePage):Home page action methods come here. I.e. Python.org#Declares a variable that will contain the retrieved textsearch_text_element SearchTextElement()def is_title_matches(self):Verifies that the hardcoded text Python appears in page titlereturn Python in self.driver.titledef click_go_button(self):Triggers the searchelement self.driver.find_element(*MainPageLocators.GO_BUTTON)element.click()class SearchResultsPage(BasePage):Search results page action methods come heredef is_results_found(self):# Probably should search for this text in the specific page# element, but as for now it works finereturn No results found. not in self.driver.page_source页面元素
这个 element.py 看起来像这样:
from selenium.webdriver.support.ui import WebDriverWaitclass BasePageElement(object):Base page class that is initialized on every page object class.def __set__(self, obj, value):Sets the text to the value supplieddriver obj.driverWebDriverWait(driver, 100).until(lambda driver: driver.find_element_by_name(self.locator))driver.find_element_by_name(self.locator).send_keys(value)def __get__(self, obj, owner):Gets the text of the specified objectdriver obj.driverWebDriverWait(driver, 100).until(lambda driver: driver.find_element_by_name(self.locator))element driver.find_element_by_name(self.locator)return element.get_attribute(value)定位器
其中一个做法是从它们正在使用的地方分离定位字符。在这个例子中同一页面的定位器属于同一个类。
这个 locators.py 看起来像这样:
from selenium.webdriver.common.by import Byclass MainPageLocators(object):A class for main page locators. All main page locators should come hereGO_BUTTON (By.ID, submit)class SearchResultsPageLocators(object):A class for search results locators. All search results locators should come herepassAPI
到最后肯定是放松最全最重要的 API 了比较多希望大家可以多加练习。 API
以上就是 Selenium 的基本用法我们讲解了页面交互页面渲染之后的源代码的获取。这样即使页面是 JS 渲染而成的我们也可以手到擒来了。就是这么溜
