爬虫

1. selenium简介

selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题

selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器

from selenium import webdriver
browser=webdriver.Chrome()
browser=webdriver.Firefox()
browser=webdriver.PhantomJS()
browser=webdriver.Safari()
browser=webdriver.Edge()

2. 安装

 驱动器下载地址：http://npm.taobao.org/mirrors/chromedriver/

下载chromdriver.exe放到python安装路径的scripts目录中即可

# 测试是否安装成功

from selenium import webdriver
import time

driver = webdriver.Chrome()
driver.get('http://www.baidu.com')
driver.page_source
time.sleep(2)
driver.close()

3. 基本使用

1. 元素定位
webdriver 提供了一系列的元素定位方法，常用的有以下几种：

find_element_by_id()
find_element_by_name()
find_element_by_class_name()
find_element_by_tag_name()
find_element_by_link_text()
find_element_by_partial_link_text()
find_element_by_xpath()
find_element_by_css_selector()

.text 可获取文本信息
.get_attribute('src') 可获取属性

注意
1、find_element_by_xxx找的是第一个符合条件的标签，find_elements_by_xxx找的是所有符合条件的标签。
2、根据ID、CSS选择器和XPath获取，它们返回的结果完全一致。
3、另外，Selenium还提供了通用方法find_element()，它需要传入两个参数：查找方式By和值。实际上，它就是find_element_by_id()这种方法的通用函数版本，比如find_element_by_id(id)就等价于find_element(By.ID, id)，二者得到的结果完全一致

2. 节点交互

input.send_keys('想输入的内容')  # input为找到的输入框对应的元素
input.clear()  # 清空搜索框
button.click()  # 点击确定

3. 动作链和执行js（下拉滚动条）

在上面的实例中，一些交互动作都是针对某个节点执行的。比如，对于输入框，我们就调用它的输入文字和清空文字方法；对于按钮，就调用它的点击方法。其实，还有另外一些操作，它们没有特定的执行对象，比如鼠标拖曳、键盘按键等，这些动作用另一种方式来执行，那就是动作链。
比如，现在实现一个节点的拖曳操作，将某个节点从一处拖曳到另外一处

# 动作链
from selenium import webdriver
from selenium.webdriver import ActionChains
import time

browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')  # webDriver只能在一个页面上对元素识别和定位，对于frame/iframe表单内嵌页面上的元素无法直接定位，此时就需要通过switch_to.frame()方法将当前定位的主题切换为iframe表单的内嵌页面中

source = browser.find_element_by_id('draggable')
target = browser.find_element_by_id('droppable')
actions = ActionChains(browser)
actions.click_and_hold(source).perform()  # perform必须加
time.sleep(1)
actions.move_to_element(target).perform()
time.sleep(1)
# actions.move_by_offset(xoffset=50, yoffset=0).perform()

actions.release()
time.sleep(3)
browser.close()


# 执行js
browser.get('http://www.jd.com')
time.sleep(1.5)
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')  # 下拉进度条
time.sleep(2)
browser.close()


下拉滚动条两种方法：
1. 执行js，直接操作
　　js="var q=document.getElementById('id').scrollTop=10000"

　　 driver.execute_script(js）

 2. 使用js脚本拖动到提定地方

　　 target = driver.find_element_by_id("id_keypair")

   driver.execute_script("arguments[0].scrollIntoView();", target) #拖动到可见的元素去

4. 获取节点信息和标签属性
from selenium import webdriver 
from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR 
from selenium.webdriver.support import expected_conditions as EC 
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素 

browser=webdriver.Chrome() 
browser.get('https://www.amazon.cn/') 
wait=WebDriverWait(browser,10) 
wait.until(EC.presence_of_element_located((By.ID,'cc-lm-tcgShowImgContainer'))) 

tag=browser.find_element(By.CSS_SELECTOR,'#cc-lm-tcgShowImgContainer img') 

#获取标签属性， 
print(tag.get_attribute('src')) 

#获取标签ID，位置，名称，大小（了解） 
print(tag.id) print(tag.location) print(tag.tag_name) print(tag.size) browser.close()

5. 延时等待
在Selenium中，get()方法会在网页框架加载结束后结束执行，此时如果获取page_source，可能并不是浏览器完全加载完成的页面，
如果某些页面有额外的Ajax请求，我们在网页源代码中也不一定能成功获取到。所以，这里需要延时等待一定时间，确保节点已经加载出来。
这里等待的方式有两种：一种是隐式等待，一种是显式等待。

隐式等待：（一般用显示等待）
当使用隐式等待执行测试的时候，如果Selenium没有在DOM中找到节点，将继续等待，超出设定时间后，则抛出找不到节点的异常。
换句话说，当查找节点而节点并没有立即出现的时候，隐式等待将等待一段时间再查找DOM，默认的时间是0。

显示等待：
隐式等待的效果其实并没有那么好，因为我们只规定了一个固定时间，而页面的加载时间会受到网络条件的影响。
这里还有一种更合适的显式等待方法，它指定要查找的节点，然后指定一个最长等待时间。如果在规定时间内加载出来了这个节点，就返回查找的节点；如果到了规定时间依然没有加载出该节点，则抛出超时异常。

# 隐式等待示例

import time

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

browser = webdriver.Chrome()

browser.implicitly_wait(10)

browser.get('https://www.baidu.com')
time.sleep(2)

input_tag = browser.find_element_by_id('kw')
input_tag.send_keys('美女')
time.sleep(2)
input_tag.send_keys(Keys.ENTER)
time.sleep(2)

contents = browser.find_element_by_id('content_left')  # 如果没有及时加载出来，等待10再查找，仍未找到则报错
print(contents)

browser.close()


# 显示等待示例

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome()
browser.get('http://www.baidu.com')

input_tag = browser.find_element_by_id('kw')
input_tag.send_keys('美女')
input_tag.send_keys(Keys.ENTER)

wait = WebDriverWait(browser, 10)
wait.until(EC.presence_of_element_located((By.ID, 'content_left')))

# contents = browser.find_element_by_id('content_left')
contents = browser.find_element(By.CSS_SELECTOR, '#content_left')
print(contents)

browser.close()

6. 其他

# 模拟浏览器的前进后退
import time
from selenium import webdriver

browser=webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.get('https://www.taobao.com')
browser.get('http://www.sina.com.cn/')

browser.back()
time.sleep(10)
browser.forward()
browser.close()

# cookie相关

 #cookies
 from selenium import webdriver

 browser=webdriver.Chrome()
 browser.get('https://www.zhihu.com/explore')
 print(browser.get_cookies())
 browser.add_cookie({'k1':'xxx','k2':'yyy'})
 print(browser.get_cookies())

 # browser.delete_all_cookies()