Selenium是通过拖放控件的方式设计UI，设计是什么样，运行就是什么样。
一.安装Selenium和WebDriver
1.安装Selenium
pip安装
pip install selenium
离线安装
在该网址中找到https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxmlselenium的包
然后解压到该目录下，cmd命令cd到该目录下，执行如下命令
pip install selenium‑3.141.0‑py3‑none‑any.whl
2.安装WebDriver
2.1Chrome版本的WebDriver称为ChromeDriver
ChromeDriver的官网https://chromedriver.chromium.org/
2.1.1使用ChromeDriver：
下载下来的ChromeDriver.exe是一个可执行文件，要将ChromeDriver.exe文件添加到PATH环境变量中，这样在任何路径下都可以执行ChromeDriver。或者将下载下来的ChromeDriver放到指定目录下，在使用ChromeDriver时指定其路径即可
2.1.2
在python中使用ChromeDriver
from selenium import webdriver
browser = webdriver.Chrome()
执行上述代码会立刻启动一个Chrome浏览器的实例，也可以通过Chrome类的构造方法指定ChromeDriver的路径
from selenium import webdriver
browser = webdriver.Chrome('./webdriver/ChromeDriver')
2.2装Edge WebDriver
下载地址https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/
2.2.1在python中使用Edge WebDriver
from selenium import webdriver
browser = webdriver.Edge()
同样也可以指定Web WebDriver路径；可类比Chrome
三.Selenium的基本使用方法
3.1打开浏览器
from selenium import webdriver
browser = webdriver.Chrome('./webdriver/chromedriver')
browser.get('https://www.jd.com')
3.2控制浏览器页面的控件
模拟按键，首先需要找到接收按键动作的节点
Selenium支持多种方式查找节点，如通过id属性，通过class属性。然后可以通过send_keys方法模拟按键的动作
from selenium import webdriver
browser = webdriver.Chrome('./webdriver/chromedriver.exe')
browser.get('https://www.jd.com')
input = browser.find_element_by_id('key')
input.send_keys('Python从菜鸟到高手')
input.send_keys(Keys.ENTER)
完整代码
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as ec
browser = webdriver.Chrome('./webdriver/chromedriver.exe)
try:
browser.get('https://www.jd.com')
# 根据id的属性值来查找搜索框
input = browser.find_element_by_id('key')
# 使用send_keys方法向搜索框中输入文本
input.send_keys('Python从菜鸟到高手')
# 使用send_keys方法按下ENTER键
input.send_keys(Keys.ENTER)
# 设置WebDriverWait对象，设置等待时间(4秒)
wait = WebDriverWait(browser,4)
# 等待搜索页面显示(通过查找id值为J_goodsList的节点判断搜索页面是否显示)
wait.until(ec.presence_of_all_elements_located((By.ID,'J_goodsList')))
# 显示搜索页面的标题
print(browser.title)
# 显示搜索页面的URL
print(browser.current_url)
# 显示搜索页面的代码
print(browser.page_source)
# 关闭浏览器
browser.close()
except Exception as e:
print(e)
browser.close()
在上面代码使用了WebDriverWait类，该类是为了在执行的过程中等待一段时间，这里设置为4秒。这是由于按下ENTER键后，并不一定马上显示搜索结果，需要一定的延长，但python程序不会等待搜索结果出来再往下继续执行下去，就会造成python程序已经运行到处理搜索结果页面的位置时，搜索结果页面还没显示出来。所以使用WebDriverWait类的until方法判断搜索结果页面是否显示完成。
wait = WebDriverWait(browser,4)
# 等待搜索页面显示(通过查找id值为J_goodsList的节点判断搜索页面是否显示)
wait.until(ec.presence_of_all_elements_located((By.ID,'J_goodsList')))
四.查找节点
4.1查找单个节点
find_element开头的方法都是用于查找单个节点的API.
如下图所示
上述API列表可以看到,Selenium支持通过多种方式查找节点，如XPath、CSS选择器、class属性、id属性、标签名等。这些方法使用都一样，只是需要传入不同的参数值
本例通过使用Selenium通过id属性、name属性、和class属性获取表单中特定的input节点，并自动输入表单的内容
这里查找的网页是用服务器挂载的静态页面
from selenium import webdriver
from selenium.webdriver.common.by import By
# 不支持本地网页
browser = webdriver.Chrome('./webdriver/chromedriver')
try:
browser.get('http://localhost/demo.html')
input = browser.find_element_by_id('name')
input.send_keys('王军')
input = browser.find_element_by_id('age')
input.send_keys('30')
input = browser.find_element_by_name('country')
input.send_keys('中国')
input = browser.find_element_by_class_name('myclass')
input.send_keys('4000')
# 或下面的代码
input = browser.find_element(By.CLASS_NAME,'myclass')
input.clear() # 不清空 追加
input.send_keys('8000')
except Exception as e:
print(e)
browser.close()
4.2查找多个节点
查找多个节点返回的是一个列表，而查找单个节点返回的是一个节点
若没有符合条件的节点，就会返回空列表
这些API都是以find_elements开头的方法
uploading-image-874268.png
本例使用Selenium通过节点名查找所有符合条件的节点，并输入节点本身、符合条件的节点总数以及第一个符合条件的节点的文本
from selenium import webdriver
from selenium.webdriver.common.by import By
# 不支持本地网页
browser = webdriver.Chrome('./webdriver/chromedriver')
try:
browser.get('https://www.jd.com')
input = browser.find_elements_by_tag_name('li')
print(input)
print(len(input))
print(input[0].text)
input = browser.find_elements(By.TAG_NAME,'ul')
print(input)
print(input[0].text)
browser.close()
except Exception as e:
print(e)
browser.close()
4.5节点交互
例如click方法可以模拟单击节点的动作
本例使用Selenium通过模拟浏览器单击动作循环单击页面上的6个按钮，单击每个按钮后，按钮下方的div就会按照按钮的背景色设置div的背景色
from selenium import webdriver
import time
browser = webdriver.Chrome('./webdriver/chromedriver')
try:
browser.get('http://localhost/demo1.html')
buttons = browser.find_elements_by_class_name('mybutton')
i = 0
while True:
buttons[i].click()
time.sleep(1)
i += 1
if i == len(buttons):
i = 0
except Exception as e:
print(e)
browser.close()
4.6动作链
在前面的交互动作中，交互动作都是针对某个节点执行的，例如，对于某个input节点输入一个字符串、模拟单击某一个按钮等。但还有另外一类交互动作，他们没有特定的执行对象，比如鼠标拖拽、键盘按键等，其实这些动作相当于全局事件，需要另外一种方式执行，这就是动作链。
动作链需要创建ActionChains对象，并通过ActionChains类的若干方法向浏览器发送一个或多个动作。
本例会使用Selenium动作链的move_to_element方法模拟鼠标移动的动作，自动显示京东商城首页左侧的每个二级导航菜单。
from selenium import webdriver
from selenium.webdriver import ActionChains
import time
browser = webdriver.Chrome()
try:
browser.get('https://www.jd.com')
# 创建一个ActionChains对象
actions = ActionChains(browser)
# 通过CSS选择器查找所有class属性值为cate_menu_item的li节点，每一个li节点
# 是一个二级导航栏
li_list = browser.find_elements_by_css_selector(".cate_menu_item")
# 通过迭代，显示每一个二级菜单，调用动作链中方法发送动作后，必须调用preform方法才能生效
for li in li_list:
actions.move_to_element(li).perform()
time.sleep(1)
except Exception as e:
print(e)
browser.close()
本例演示地址是https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable，目的使用drag_and_drop方法将页面右侧的小方块拖到大方块上。
from selenium import webdriver
from selenium.webdriver import ActionChains
browser = webdriver.Chrome('./webdriver/chromedriver')
try:
browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
browser.switch_to.frame('iframeResult')
source = browser.find_element_by_css_selector('#draggable')
target = browser.find_element_by_css_selector('#droppable')
actions = ActionChains(browser)
# 调用drag_and_drop方法拖动节点
actions.drag_and_drop(source, target)
# 调用perform方法让拖动生效
actions.perform()
except Exception as e:
print(e)
browser.close()
注意，如果页面存在iframe节点，而且要操作iframe中的节点，需要首先使用frame方法切换到iframe节点，才能操作里面的子节点。
4.7执行JavaScript代码
对于某些操作,Selenium并没有提供相应的API，例如，下拉页面，不过可以使用Selenium的execute_script方法直接运行JavaScript代码，以便扩展Selenium的功能。
本例会使用Selenium的execute_script方法让京东商城首页滚动到最低端，然后弹出一个对话框。
from selenium import webdriver
browser = webdriver.Chrome('./webdriver/chromedriver')
browser.get('https://www.jd.com')
# 将京东商城滚动到最低端
browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
# 弹出对话框
browser.execute_async_script('alert("已经到达页面底端")')
4.8获取节点信息
使用Selenium的API还可以获得详细的节点信息，如节点的位置，节点名称，节点尺寸和几点属性等。
本例会使用Selenium的API获取京东商城首页HTML代码中id为navitems-groupl的ul节点的相关信息以及ul节点中li节点的相关信息
from selenium import webdriver
from selenium.webdriver import ActionChains
options = webdriver.ChromeOptions()
# 添加参数，不让Chrome浏览器显示，只在后台运行
options.add_argument('headless')
browser = webdriver.Chrome('./webdriver/chromedriver',chrome_options=options)
#browser = webdriver.PhantomJS('./webdriver/phantomjs')
browser.get('https://www.jd.com')
# 查找页面中id属性值为navitems-group1的第一个节点
ul = browser.find_element_by_id("navitems-group1")
print(ul.text)
print('id','=',ul.id) # 内部id，不是节点id属性值
print('location','=',ul.location)
print('tag_name','=',ul.tag_name)
print('size','=',ul.size)
li_list = ul.find_elements_by_tag_name("li")
for li in li_list:
print(type(li))
# 属性没找到，返回None
print('<',li.text,'>', 'class=',li.get_attribute('class'))
a = li.find_element_by_tag_name('a')
print('href','=',a.get_attribute('href'))
browser.close()
五.管理Cookie
使用Selenium，可以方便的管理Cookie，例如获取Cookie、添加和删除Cookie等
本例使用Selenium API获取Cookie列表，并添加新的Cookie，以及删除所有的Cookie。
from selenium import webdriver
browser = webdriver.Chrome('./webdriver/chromedriver')
browser.get('https://www.jd.com')
# 为获取Cookie列表
print(browser.get_cookies())
# 添加新的Cookie
browser .add_cookie({'name': 'name',
'value':'jd','domain':'www.jd.com'})
print(browser.get_cookies())
# 删除所有的Cookie
browser.delete_all_cookies()
print(browser.get_cookies()) # 大部分删除了，可能还剩下一些
六.管理节点的属性值
Selenium本身并没有提供修改节点属性的API，不过可以通过执行JavaScript代码的方式设置节点属性，而且通过Selenium获取的节点可以直接作为DOM使用，这就意味着可以直接在JavaScript代码中使用查找到的节点。
execute_script方法的第一个参数用于指定Javascript代码，后面的可变参数，可以为Javascript代码传递参数。通过arguments变量获取每一个参数值，例如arguments[0]表示第1个参数值，arguments[1]表示第2个参数值，以此类推。
6.1本例会通过JavaScript代码改变百度搜索按钮的位置，让这个按钮在多个位置之间移动，时间间隔是2秒。
from selenium import webdriver
import time
driver = webdriver.Chrome('./webdriver/chromedriver')
driver.get("http://www.baidu.com")
search_button = driver.find_element_by_id("su") # 百度搜索按钮
# arguments[0]对应的是第一个参数，可以理解为python里的%s传参，与之类似
# 定义搜索坐标可以移动到x的坐标位置
x_positions = [50,90,130,170]
y_positions = [100,120,160,90]
for i in range(len(x_positions)):
# 用于移动的JavaScript代码,arguments[0]就是搜索按钮对应的DOM
js = '''
arguments[0].style.position = "absolute";
arguments[0].style.left="{}px";
arguments[0].style.top="{}px";
'''.format(x_positions[i],y_positions[i])
# 执行JS代码，并开始移动搜索按钮
driver.execute_script(js, search_button)
time.sleep(2)
6.2本例使用JS代码修改京东商城首页顶端的前两个导航菜单的文本和链接，分别改成....。导航链接也会改变
from selenium import webdriver
import time
driver = webdriver.Chrome('./webdriver/chromedriver')
driver.get("https://www.jd.com")
ul = driver.find_element_by_id('navitems-group1')
li_list = ul.find_elements_by_tag_name('li')
a1 = li_list[0].find_element_by_tag_name('a')
a2 = li_list[1].find_element_by_tag_name('a')
js = '''
arguments[0].text = 'Python从菜鸟到高手'
arguments[0].href = 'https://item.jd.com/12417265.html'
arguments[1].text = '极客起源'
arguments[1].href = 'https://geekori.com'
'''
driver.execute_script(js, a1,a2)
12/13新增Webdriver常用方法
通过partial_link_text(部分链接)文本来定位文本链接
find_element_by_partial_link_text('字符串')
通过完整链接文本link_text定位文本链接
find_element_by_link_text('字符串')
1.浏览器操作
get() 访问URL driver.get('url链接')
back 后退上一步 driver.back()
forward 前进下一步 driver.forward()
quit 退出驱动，关闭所有窗口 driver.quit()
close 关闭当前打开的窗口 driver.close()
maximize_window 浏览器最大化 driver.maximize_window()
refresh 刷新浏览器 driver.refresh()
2.元素操作
send_keys() 向文本框类型输入数据 driver.find_element_by_tag('input').send_keys('selenium')
clear() 清空输入的数据 driver.find_element_by_tag('input').clear()
click() 单击事件 driver.find_element_by_tag('button').click()
enter() 触发键盘enter操作 driver.find_element_by_tag('input').enter()
text() 获取元素的文本内容 driver.find_element_by_partial_link_text('Outlook').text() 获取Outlook.com文本
page_source 获取页面HTML内容 driver.page_source() ## 这句话非常有用，可以对抗任何反爬的措施，缘由是获取到了被浏览器渲染过后的网页源代码
3.Cookie操作
get_cookies() 获取当前页的所有Cookies driver.get_cookies()
get_cookie(name) 获取当前页Cookies中的指定name值的cookie driver.get_cookies('time')
add_cookie 添加Cookie driver.add_cookie({'time':'20211213121231'})
delete_cookie(name) 删除一条Cookie driver.delete_cookie('time')
delete_all_cookies 删除所有Cookie driver.delete_all_cookies()