一、安装及环境配置
如果要使用selenium，需要下载chrome及对应系统、对应浏览器版本的chromedriver。
pip安装：pip install selenium
二、基本使用
2.1 启动及配置
# 普通启动
from selenium import webdriver
# 1. 实例化一个浏览器
browser = webdriver.Chrome("./chromedriver") # 参数为驱动路径
browser.get("http://www.baidu.com/") # 驱动浏览器访问百度
browser.page_source # 获取当前浏览器的html
browser.quit() # 退出实例化的浏览器
# 包含配置信息启动
from selenium import webdriver
# 配置
options = webdriver.ChromeOptions()
options.add_argument('--headless') # 增加无界面选项
options.add_argument('--disable-gpu') # 如果不加这个选项，有时定位会出现问题
options.add_argument('--user-data-dir=/Users/mac/Library/Application Support/Google/Chrome/Default') # 设置成用户自己的数据目录
# 实例化一个浏览器对象，并加载配置
browser = webdriver.Chrome(executable_path="./chromedriver", options=options)
browser.get("http://www.baidu.com/") # 驱动浏览器访问百度
browser.page_source # 获取当前浏览器的html
browser.quit() # 退出实例化的浏览器
2.2 基本浏览器动作
# 定位
browser.find_element_by_id("id") # 通过id定位
browser.find_element_by_name("name") # 通过name定位
browser.find_element_by_class_name("class_name") # 通过classname定位
browser.find_element_by_tag_name("input") # 通过tag标签定位
browser.find_element_by_xpath("//input[@id='kw']") # 通过xpath定位
browser.find_element_by_css_selector("#kw") # 通过CSS方式定位
# 等待
# 1.强制等待x秒
time.sleep(10) # 强制程序休眠10s
# 2.每次都等到浏览器全部加载完成
browser.implicitly_wait(30) # 隐式等待，参数为最长等待时间(s)。页面全部加载完成才会执行下一步操作。
# 需要注意的是，browser.implicitly_wait(30)是为全局设置最长30s的等待时间。
# 3.等到自己需要的元素出现或者自己不需要的元素消失
from selenium.webdriver.support.wait import WebDriverWait
WebDriverWait(browser, 30).until(EC.title_is("百度一下，你就知道")) # 等待，直到标题是百度一下，或超时
WebDriverWait(browser, 30).until(EC.title_contains("百度")) # 等待，直到标题包含百度，或超时
WebDriverWait(browser, 30).until(EC.presence_of_element_located((By.ID, "id"))) # 等待，直到Dom中存在该id
WebDriverWait(browser, 30).until(EC.visibility_of_element_located((By.ID, "id"))) # 等待，直到Dom中存在该id并且可见
WebDriverWait(browser, 30).until(EC.element_to_be_clickable((By.XPATH,"//*[@id='u1']/a[8]"))) # 等待，直到该元素是可点击的
WebDriverWait(browser, 30).until(EC.text_to_be_present_in_element_value((By.CSS_SELECTOR,'.main'),'enable')) # 判断.main中是否包含enable字符串，返回布尔值
WebDriverWait(browser, 30).until(EC.staleness_of(driver.find_element(By.ID,'id'))) # 等待，直到id从dom中移除
# 行为
browser.maximize_window() # 浏览器最大化
browser.minimize_window() # 浏览器最小化
browser.set_window_size(480, 800) # 自定义浏览器窗口大小
browser.forword() # 浏览器前进
browser.back() # 浏览器后退
browser.close() # 关闭浏览器当前窗口
browser.quit() # 退出浏览器驱动并关闭所有窗口
browser.refresh() # 刷新当前页
browser.page_source # 获取当前页html
browser.title # 获取当前页标题
browser.url # 获取当前页url
browser.find_element_by_name("name").click() # 点击对象
browser.find_element_by_name("name").send_keys("keyword") # 模拟键盘输入
browser.find_element_by_name("name").clear() # 清除对象的内容
browser.find_element_by_name("name").submit() # 提交对象的内容
browser.find_element_by_name("name").text() # 获取元素的文本信息
browser.find_element_by_name("name").context_click() # 右键单击
browser.find_element_by_name("name").double_click() # 双击
browser.find_element_by_name("name").is_displayed() # 是否用户可见
# 模拟键盘事件
from selenium.webdriver.common.keys import Keys
browser.find_element_by_id("user_pwd").send_keys(Keys.ENTER) # 通过定位密码框，enter（回车）来代替登陆按钮
browser.find_element_by_id("login").send_keys(Keys.ENTER) # 点击回车登陆（替代click），和上面效果一样
browser.find_element_by_name("name").send_keys(Keys.CONTROL, "a") # 模拟ctrl+a
# iframe
browser.switch_to_frame("f1") # 找到 f1 iframe
browser.switch_to_window("f1") # 找到内嵌窗口 f1
driver.switch_to.frame(driver.find_elements_by_tag_name("iframe")[0])
三、其他使用
# 操作cookie
browser.get_cookie("name") # 根据name获取单个cookie
browser.get_cookies() # 获取所有cookie
browser.delete_all_cookies() # 删除所有cookies
browser.delete_cookie("name") # 根据name删除对应cookie
browser.add_cookie({"k1": "v1", "k2": "v2"}) # 设置cookies
# 获取截屏
browser.get_screenshot_as_file("/usr/download/down_image.png") # 保存当前窗口截图
browser.get_screenshot_as_png() # 获取当前png截图的二进制字符串
# 获取窗口信息
browser.get_window_rect() # 获取当前窗口xy坐标及当前窗口的高度和宽度
browser.get_window_position(windowHandle="current") # 获取当前窗口的x,y坐标
browser.get_window_size(windowHandle="current") # 获取当前窗口的高度和宽度
# 多窗口切换
driver.get("http://example.com") # 打开一个窗口
now_handle = drvier.current_window_handle # 获取当前窗口句柄
driver.find_element_by_name('example').click() # 点击某个元素打开新的窗口(target="_black"的元素)
all_handle = drvier.window_handles # 获取所有窗口句柄
drvier.switch_to.window(now_handle) # 切换为第一窗口
driver.close() # 关闭当前窗口
# 通过input上传附件
self.browser.find_element_by_xpath('//input[@class="file-selector-file"]').send_keys("/Users/mac/Documents/myspider/selenium_spider/test.mp4") # 必须要用绝对路径
3.1 切换标签页
每个标签页都有对应的窗口句柄，可以通过窗口句柄切换到对应的标签页。
# 1. 获取当前所有的标签页的句柄构成的列表
current_windows = driver.window_handles
# 2. 根据标签页句柄列表索引下标进行切换
driver.switch_to.window(current_windows[0])
3.2 切换iframe
selenium操作iframe内容需要先switch_to到iframe，操作完成后需要切换回来
login_frame = driver.find_element_by_id('login_frame') # 根据id定位 frame元素
driver.switch_to.frame(login_frame) # 转向到该frame中
# 利用切换标签页的方式切出frame标签
windows = driver.window_handles
driver.switch_to.window(windows[0])
3.3 cookie操作
# 获取cookie
cookies_dict = {cookie["name"]: cookie["value"] for cookie in driver.get_cookies()}
# 删除一个cookie
driver.delete_cookie("CookieName")
# 删除所有cookie
driver.delete_all_cookies()
# 添加一个cookie
add_cookie(cookie_dict)
3.4 执行JS代码
script = 'window.scrollTo(0,document.body.scrollHeight)'
browser.execute_async_script(script, *args) # 在当前的window/frame中异步执行JS代码
browser.execute_script(script, *args) # 在当前的window/frame中同步执行JS代码
script: JS代码（str）
*args: 要传入js的参数（iterable）
3.5 上传文件
通过input上传文件
self.browser.find_element_by_xpath('//input[@class="file-selector-file"]').send_keys("/Users/mac/Documents/myspider/selenium_spider/test.mp4") # 必须要用绝对路径
3.6 截图
browser.get_screenshot_as_file("/usr/download/down_image.png") # 保存当前窗口截图
browser.get_screenshot_as_png() # 获取当前png截图的二进制字符串
3.7 鼠标事件
from selenium.webdriver.common.action_chains import ActionChains
el = driver.find_element_by_name('tj_trnews') # 目标元素
ActionChains(driver).context_click(el).perform() # 右击目标元素
ActionChains(driver).double_click(el).perform() # 双击目标元素
source = driver.find_element_by_id('lg') # 目标元素原始位置
target = driver.find_element_by_id('kw') # 拖动的目标位置
ActionChains(driver).drag_and_drop(source, target).perform() # 拖动元素
ActionChains(driver).move_to_element(el).perform() # 鼠标移动的目标元素上
ActionChains(driver).click_and_hold(el).perform() # 移动到目标元素按下鼠标左键
3.8 控制已打开的浏览器
.\chrome.exe --remote-debugging-port=6001 --user-data-dir="C:\ProgramFiles\Chrome"
def init_driver():
options = webdriver.ChromeOptions()
options.add_experimental_option("debuggerAddress", "127.0.0.1:6001")
driver = webdriver.Chrome(options=options)
return driver
四、代码示例
4.1 初始化driver
#!/usr/bin/env python
# coding:utf-8
import time
from selenium import webdriver
from selenium.webdriver.support.select import Select
def chromedriver_demo():
driver = webdriver.Chrome()
driver.delete_all_cookies()
driver.add_cookie({'name': 'ABC', 'value': 'DEF'})
driver.get_cookies()
driver.execute_script('window.open("https://www.baidu.com");')
"""
// chrome地址栏命令
about:version - 显示当前版本
about:memory - 显示本机浏览器内存使用状况
about:plugins - 显示已安装插件
about:histograms - 显示历史记录
about:dns - 显示DNS状态
about:cache - 显示缓存页面
about:gpu -是否有硬件加速
about:flags -开启一些插件
chrome://extensions/ - 查看已经安装的扩展
// chrome参数
–user-data-dir=”[PATH]” 指定用户文件夹User Data路径，可以把书签这样的用户数据保存在系统分区以外的分区。
–disk-cache-dir=”[PATH]“ 指定缓存Cache路径
–disk-cache-size= 指定Cache大小，单位Byte
–first run 重置到初始状态，第一次运行
–incognito 隐身模式启动
–disable-javascript 禁用Javascript
–omnibox-popup-count=”num” 将地址栏弹出的提示菜单数量改为num个。我都改为15个了。
–user-agent=”xxxxxxxx” 修改HTTP请求头部的Agent字符串，可以通过about:version页面查看修改效果
–disable-plugins 禁止加载所有插件，可以增加速度。可以通过about:plugins页面查看效果
–disable-javascript 禁用JavaScript，如果觉得速度慢在加上这个
–disable-java 禁用java
–start-maximized 启动就最大化
–no-sandbox 取消沙盒模式
–single-process 单进程运行
–process-per-tab 每个标签使用单独进程
–process-per-site 每个站点使用单独进程
–in-process-plugins 插件不启用单独进程
–disable-popup-blocking 禁用弹出拦截
–disable-plugins 禁用插件
–disable-images 禁用图像
–incognito 启动进入隐身模式
–enable-udd-profiles 启用账户切换菜单
–proxy-pac-url 使用pac代理 [via 1/2]
–lang=zh-CN 设置语言为简体中文
–disk-cache-dir 自定义缓存目录
–disk-cache-size 自定义缓存最大值（单位byte）
–media-cache-size 自定义多媒体缓存最大值（单位byte）
–bookmark-menu 在工具 栏增加一个书签按钮
–enable-sync 启用书签同步
–single-process 单进程运行Google Chrome
–start-maximized 启动Google Chrome就最大化
–disable-java 禁止Java
–no-sandbox 非沙盒模式运行
"""
def init_driver(driver_path: str, timeout=20, user_agent: str = None, headless=False,
proxy: str = None, binary_location: str = None, user_data_dir: str = None,
crx_dir=None):
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("blink-settings=imagesEnabled=false") # 设置图片不加载
chrome_options.add_argument("--disable-gpu")
chrome_options.add_argument("disable-infobars") # 隐藏"Chrome正在受到自动软件的控制"
chrome_options.add_argument("lang=zh_CN.UTF-8") # 设置中文
chrome_options.add_argument("window-size=1920x3000") # 指定浏览器分辨率
chrome_options.add_argument("--hide-scrollbars") # 隐藏滚动条, 应对一些特殊页面
chrome_options.add_argument("--remote-debugging-port=9222")
# chrome_options.binary_location = r"/Applications/Chrome" # 手动指定使用的浏览器位置
if headless:
chrome_options.add_argument("--headless")
if not user_agent:
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36 Edg/86.0.622.58"
chrome_options.add_argument("user-agent=%s" % user_agent)
if proxy:
chrome_options.add_argument("proxy-server=%s" % proxy)
if user_data_dir:
chrome_options.add_argument("--user-data-dir=%s" % user_data_dir)
if binary_location:
chrome_options.binary_location = binary_location # 手动指定使用的浏览器位置
if crx_dir:
chrome_options.add_extension(crx_dir) # 自定义加载扩展crx
driver = webdriver.Chrome(chrome_options=chrome_options, executable_path=driver_path)
driver.set_page_load_timeout(timeout)
driver.set_script_timeout(timeout)
return driver
def init_driver_with_exists_chrome():
"""
Start Chrome:
C:\Users\user\AppData\Local\Google\Chrome\Application\chrome.exe --remote-debugging-port=6001 --user-data-dir="C:\ProgramFiles\Chrome2"
"""
options = webdriver.ChromeOptions()
options.add_experimental_option("debuggerAddress", "127.0.0.1:6001")
driver = webdriver.Chrome(options=options)
return driver
def wait_html(driver):
while 1:
time.sleep(0.5)
if "Certification" in driver.page_source:
print("Success!!! Certification")
break
print("Certification")
# pass. to do next
def auto_input(driver):
# input keys
driver.find_element_by_xpath('//input[@name="CMT_SSN_1"]').send_keys("")
# click button 1
driver.find_element_by_xpath('//input[@name="CCA_QUIT_IND"][@value="N"]').click()
# click button 2 (with js)
driver.execute_script("""
var e = document.createEvent("MouseEvents");
e.initEvent("click", true, true);
document.getElementById("nextBtn").dispatchEvent(e);
""")
# click button 3
element = driver.find_element_by_id('login')
webdriver.ActionChains(driver).move_to_element(element).click(element).perform()
# selection
Select(driver.find_element_by_xpath('//select[@name="CMT_ID_TYPE_CD"]')).select_by_index(2)
Select(driver.find_element_by_xpath('//select[@name="CWE_CONTACT_OUTCOME_CD_02"]')).select_by_value("3")
if __name__ == "__main__":
url = "https://m.amap.com/service/poi/id.json?id=B0FFH5BLJA"
driver_path = "spider_data/chromedriver.exe"
init_driver(driver_path)