库里有个叫 WebDriver 的 API。 WebDriver 有点儿像可以加载网站的浏览器， 但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素， 与页面上的元素进行交互 (发送文本、 点击等)， 以及执行其他动作来运行网络爬虫。
# 导入 webdriver
from selenium import webdriver
import time
# 要想调用键盘按键操作需要引入 keys 包
from selenium.webdriver.common.keys import Keys
# 调用环境变量指定的 PhantomJS 浏览器创建浏览器对象
driver = webdriver.PhantomJS()
# 如果没有在环境变量指定 PhantomJS 位置
# driver = webdriver.PhantomJS(executable_path="./phantomjs"))
# 例 如 ： self.browser =
webdriver.PhantomJS(executable_path=r"D:phantomjs-2.1.1-windowsinphantomjs.exe")
# get 方法会一直等到页面被完全加载， 然后才会继续程序，
# 通常测试会在这里选择 time.sleep(2)
driver.get("http://www.baidu.com")
# # 获取页面名为 wrapper 的 id 标签的文本内容
data = driver.find_element_by_id("wrapper").text
# 打印数据内容
print(data)
# 打印页面标题 "百度一下， 你就知道"
print(driver.title)
# 生成当前页面快照并保存
driver.save_screenshot("index.png")
# id="kw"是百度搜索输入框， 输入字符串"长城"
driver.find_element_by_id("kw").send_keys(u"长城")
# id="su"是百度搜索按钮， click() 是模拟点击
driver.find_element_by_id("su").click()
#time.sleep(2)这个时间表示服务器响应时间
# 获取新的页面快照
driver.save_screenshot("长城.png")
# 打印网页渲染后的源代码
# # 清除输入框内容
driver.find_element_by_id("kw").clear()
# # 生成新的页面快照
driver.save_screenshot("ziyi.png")
# 获取当前 url
print(driver.current_url)
# 关闭当前页面， 如果只有一个页面， 会关闭浏览器
# driver.close()
# 关闭浏览器
driver.quit()
页面操作
Selenium 的 WebDriver 提供了各种方法来寻找元素， 在百度首页有一个表单输入框：
#百度输入框架页面源码
#<input type="text" class="s_ipt" name="wd" id="kw" maxlength="100" autocomplete="off">
# 1.根据 id 获取标签
# time.sleep(2)
element = driver.find_element_by_id("kw")
#获取标签的属性
# 格式： 标签.get_attribute("属性名")
print(element.get_attribute("type"))#text
print(element.get_attribute("class"))#s_ipte
# 2.根据 name 获取标签标
element = driver.find_element_by_name("wd")
# 3.根据标签名获取标签名
element = driver.find_elements_by_tag_name("input") #返回列表
# 4.通过 XPath 来匹配
element = driver.find_element_by_xpath("//input[@id='kw']")#返回元素
定位 UI 元素 (WebElements)
关于元素的选取， 有如下的 API 单个元素选取
find_element_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector