selenium是一款自动化测试工具,可用于网页自动化测试、网页爬虫。在爬虫中主要用于解决JavaScript渲染的问题。
selenium支持多钟浏览器:
driver = webdriver.Chrome()
driver = webdriver.Edge()
driver = webdriver.Safari()
driver = webdriver.Firefox()
1 from selenium import webdriver
2
3 if __name__ == "__main__":
4 # 1.创建有界面的浏览器对象
5 driver= webdriver.Chrome()
6 driver.maximize_window() # 最大化窗口
7 driver.refresh() # 刷新页面
8
9 # 2.请求页面
10 driver.get("https://www.baidu.com/")
11
12 # 3.页面的基本操作(点击、输入)
13 input = driver.find_element_by_id("kw") # 根据id值定位输入框
14 input.send_keys("动物") # 输入
15 button = driver.find_element_by_id("su") # 根据id值定位搜索按钮
16 button.click() # 点击
17 driver.save_screenshot("baidu.png") # 获取页面截图
18 print(driver.page_source) # 获取渲染之后的数据(即请求网页后的Elements代码)
19 print(driver.get_cookies()) # 获取请求页面后的cookie值
20 print(driver.current_url) # 获取当前页面的URL
21 driver.close() # 关闭页面
22 driver.quit() # 关闭浏览器
注意:在点击、输入等操作之前,要先定位到元素。