一、爬虫的概念
爬虫:网络爬虫(又被称为网页蜘蛛,网络机器人,在FOA社区中间,更经常的称为网页追逐者)是一种按照一定规则,自动抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
申明:爬虫也是只能爬取公开网站,公开的数据,别人加密的,涉及隐私的,不能随便弄。
推荐使用requests模块进行爬虫。安装模块:pip install requests
二、requests模块
1.requests需要传输的很多参数,都是通过字典的形式进行传递。
http定义的与服务器交互的几种方法:
get 仅仅获取资源的信息,不增加或修改数据
post 一般提交到服务器上的资源,一般我们通过form表单进行提交请求
put 增加
delete 删除
例子如下:
import requests requests.get("http://www.baidu.com") requests.post("http://www.jd.com") requests.put("http://www.jd.com") requests.delete("http://www.jd.com")
使用get方法传递参数
params = {'key1':'hello','key2':'world'} url = 'http://www.jd.com' r = requests.get(url=url,params=params) print(r.url)
使用post方法传递参数
params = {'key1':'hello','key2':'world'} url = 'http://httpbin.org/post' r = requests.post(url=url,data=params) print(r.text)
http://httpbin.org/post是requests提供的官网网址,通过json的方式给大家返回。可以看到我们返回的数据。Post的数据参数是data,都是字典的类型,但是urllib就没法接受字典类型,必须是字符串。
2.响应http请求
url = 'https://www.qiushibaike.co/' r = requests.get(url = url) print(r.text) print(r.encoding) print(type(r.text)) print(type(r.context))
requests中text和content的返回值不相同,text返回的是str类型的数据,content返回的是bytes型的数据也就是二进制的数据。也就是说,如果想取文本,可以通过text。想取图片、文字,则可以通过content
3.requests的其他常用的方法
headers:头信息
request:
cookies:
status_code:http状态码
4.requests模块有时候需要更改头信息,可以通过定义一个list,然后通过random模块随机取一个header信息进行访问,防止反爬虫的操作
5.requests的会话对象
s = requests.session()
S = requests.Session()
所有一次会话的信息都保存在s中,只需要对s进行操作就可以了。如:s.get(url)
6.Cookie的常用属性:
Domain 域
path 路径
Expires 过期时间
name 对应的key值
value key对应的value值
cookie中domain代表的是cookie所在的域,默认情况下就是请求的域名,例如请求http://www.server1.com/files/hello,那么响应中的set-cookie默认会使用www.server1.com作为cookie的domain,在浏览器中也是按照domain来阻止cookie的。我们可以在响应中设置cookie的domain为其他域,但是浏览器并不会保存这些domain为其他域的cookie。
cookie中的path能够进一步的控制cookie的访问,当path=/;当前域的所有请求都可以访问到这个cookie。如果path设为其他值,比如path=/test,那么只有/test下面请求可以访问到这个cookie。
7.requests的代理访问
代理访问:采集时为避免被封IP,经常会使用代理。requests也有相应的proxies属性
三、urllib模块
urllib在Python2与Python3中的区别,在Python2中,urllib和urllib2各有各个的功能,虽然urllib2是urllib的升级版,但是urllib2还是不能完全替代urllib,但是在Python3中,全部封装成一个类。urllib可以接受一个request对象,并以此可以来设置一个URL的headers,但是urllib只接受一个url。这就意味着你不能通过urllib伪装请求头
urllib模块可以提供运行urlencode的方法,该方法用于get查询字符串的生成,urllib2的不具备这样的功能,而且urllib.quote等一系列quote和unquote功能没有被加入urllib2中,因此有时也需要urllib的辅助。这就是urllib和urllib2一起使用的原因。quote用来url转码的
import urllib.request urllib.request.Request(url, data=None, headers = {}, method= None) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3', 'Referer': 'http://www.lagou.com/zhaopin/Python/?labelWords=label', 'Connection': 'keep-alive' }
1.requests如果要发送data,并无法直接传入字典类型的参数,需要进行数据转换,你可以直接使用类似于get传出参数的方法,也可以使用urllib给我们提供类
data = { 'first': 'true', 'pn': 1, 'kd': 'Python' } data = parse.urlencode(data).encode('utf-8') print(data) 结果: b'first=true&pn=1&kd=Python‘ urllib.parse.urlencode(query, doseq=False, safe='', encoding=None, errors=None)
urlencode()主要作用是将url附上要提交的数据。post的数据必须是bytes或者iterable of bytes,不能是str,因此需要进行encode()编码
2.urllib.request.urlopen(url, data=None, timeout=None)
url 需要打开的网站
data post提交的数据
timeout 网站访问的超时时间
但是无法伪装头信息
from urllib import request req = request.Request(url, headers=headers, data=data) html = request.urlopen(req).read()
3.urllib的下载
from urllib import request url = "http://inews.gtimg.com/newsapp_match/0/2711870562/0" request.urlretrieve(url, "1.jpg") 或者通过 from urllib import request url = "http://inews.gtimg.com/newsapp_match/0/2711870562/0" req = request.Request(url) res = request.urlopen(req) text = res.read() with open("2.jpg", "wb") as f: f.write(text)
4.urllib代理
from urllib import request, parse data = { 'first': 'true', 'pn': 1, 'kd': 'Python' } url = 'http://2017.ip138.com/ic.asp' proxy = request.ProxyHandler({'http': '112.95.61.146:8118'}) # 设置proxy opener = request.build_opener(proxy) # 挂载opener # opener = request.build_opener() # 挂载opener request.install_opener(opener) # 安装opener data = parse.urlencode(data).encode('utf-8') page = opener.open(url, data).read() print(type(page)) print(page.decode("gbk")) 结果:<body style="margin:0px"><center>您的IP是:[112.95.61.146] 来自:广东省深圳市 联通</center></body></html>
5.urllib的cookie使用:
如果已经知道cookie,或者说是通过抓包获取到的cookie,直接放在header的信息中直接登录就可以。登录京东的网站的cookie信息和不登录京东的cookie信息是不一样的。登录京东以后,抓取cookie的信息,然后访问任何网站就可以了。‘
import urllib.request url = “http://www.jd.com" header = {"user-agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36", "cookie": "xxxxx"} req = urllib.request.Request(url=url, headers=header) res = urllib.request.urlopen(req) text = res.read()
6.urllib的cookie相关的类
在Python2中的cookie的类叫做:import cookielib
在Python3中的cookie的类叫做:import http.cookiejar
opener:当获取一个url使用一个opener(一个urllib2.OpenerDirector的实例)。在前面,都是使用默认的opener,也就是urlopen。urlopen是一个特殊的opener,可以理解成opener的一个特殊实例,传入的参数仅仅是urldata,timeout。如果需要使用cookie,只用这个opener是不可能达到目的的,所以需要创建更一般的opener来实现对cookie的设置。
7.终端输出cookie对象
import urllib.request import http.cookiejar url = "http://www.hao123.com" req = urllib.request.Request(url) cookiejar = http.cookiejar.CookieJar() handler = urllib.request.HTTPCookieProcessor(cookiejar) opener = urllib.request.build_opener(handler) r = opener.open(req) print(cookiejar) <CookieJar[<Cookie BAIDUID=93B415355E0704B2BC94B5D514468898:FG=1 for .hao123.com/>, <Cookie hz=0 for .www.hao123.com/>, <Cookie ft=1 for www.hao123.com/>, <Cookie v_pg=normal for www.hao123.com/>]>
8.cookie保存到文件中
import urllib.request import http.cookiejar url = "http://www.hao123.com" req = urllib.request.Request(url) cookieFileName = "cookie.txt" cookiejar = http.cookiejar.MozillaCookieJar(cookieFileName)#文件cookie handler = urllib.request.HTTPCookieProcessor(cookiejar) opener = urllib.request.build_opener(handler) r = opener.open(req) print(cookiejar) cookiejar.save() 保存在了文件cookie.txt中 MozillaCookieJar继承FileCookieJar()继承CookieJar
9.cookie从文件中读取cookie信息并访问
import urllib.request import http.cookiejar cookie_filename = 'cookie.txt' cookie = http.cookiejar.MozillaCookieJar(cookie_filename) cookie.load(cookie_filename, ignore_discard=True, ignore_expires=True) print(cookie) url = "http://www.hao123.com" req = urllib.request.Request(url) handler = urllib.request.HTTPCookieProcessor(cookie) opener = urllib.request.build_opener(handler) # 利用urllib2的build_opener方法创建一个opener response = opener.open(req) print(response.read().decode(“utf-8”))#解决乱码的问题
四、webdriver
selenium是ThroughtWorks公司开发的一套web自动化测试工具。它分为三个组件:
selenium IDE:是Firefox的一个插件,允许测试人员录制脚本并回放
selenium RC(Remote Control)
selenium Webdriver
selenium RC和selenium Webdriver是测试框架,提供多种语言的api。不同的是,selenium webdriver以一种更底层、更灵活的方式来操作浏览器,并不仅仅使用JavaScript。这样它可以绕开浏览器的沙箱限制,实现selenium RC不支持的框架、弹出窗口、页面导航、下拉菜单、基于ajax的UI元素等控件的操作。以及,selenium webdriver不需要本地服务器。selenium1.x版本只包含前两个组件。从2.0开始webdriver加入其中。主要用来解决https的加密问题。
webdriver在使用之前,需要下载一个浏览器所对应用的驱动插件。请根据自己不同的浏览器版本,进行下载。谷歌浏览器下载地址:链接:https://pan.baidu.com/s/1qZ2LfmW
密码:qixa
下载以后,把Chromedriver放在google.exe那个当前目录下面
import os from selenium import webdriver from selenium.webdriver.common.keys import Keys chromedriver = "C:Program Files (x86)GoogleChromeApplicationchromedriver.exe" os.environ["webdriver.chrome.driver"] = chromedriver driver = webdriver.Chrome(chromedriver) driver.get("http://www.python.org") driver.quit()
八种选择器:
1. find_elements_by_name(“test”)
页面:
<input type="text" name="passwd" id="passwd-id" class=”input-class”/>
代码:
element = driver.find_elements_by_name(“passwd”)
2. find_elements_by_id()
element = driver.find_element_by_id(“passwd-id”)
By.tagname()
element = driver.find_element_by_tagname(“input”)
3. find_element_by_class_name(‘input-class’)
4. find_elements_by_tag_name(‘iframe’)
DOM的Tag元素
用Tag name 定位元素的例子:
<iframe src="..."></iframe>
element = driver.find_elements_by_tag_name("iframe")
5. find_element_by_link_text()
页面:
<a href="http://www.google.com/search?q=baidu">baidu</a>
代码:
element = browser.find_elements_by_link_text("baidu")
6 xpath 这个特别强大,所有的元素都可以通过这个可以找到。
XPath是XML Path的简称,由于HTML文档本身就是一个标准的XML页面,所以我们可以使用XPath的语法来定位页面元素。
绝对路径: 根元素开始,及html开始用/
相对路劲: 任意符合条件的元素 //
查找页面上所有的input元素://input
查找页面上第一个form元素内的直接子input元素(即只包括form元素的下一级input元素,使用绝对路径表示,单/号)://form[1]/input
查找页面上第一个form元素内的所有子input元素(只要在form元素内的input都算,不管还嵌套了多少个其他标签,使用相对路径表示,双//号)://form[1]//input
查找页面上第一个form元素://form[1]
查找页面上id为loginForm的form元素://form[@id='loginForm']
查找页面上具有name属性为username的input元素://input[@name='username']
查找页面上id为loginForm的form元素下的第一个input元素://form[@id='loginForm']/input[1]
查找页面具有name属性为contiune并且type属性为button的input元素://input[@name='continue'][@type='button']
查找页面上id为loginForm的form元素下第4个input元素://form[@id='loginForm']/input[4]
控件操作:
输入框
element.clear() 清空输入框数据
element.sendkeys(“username”) 发送数据
element.text 获取文本的值
按钮
element.click()
表单提交
element.submit()
单选和多选框
element.clear() element = browser.find_elements_by_id(' checkbox')
选择某个单选项
element.click();
常用方法:
browser.get_cookies()
browser.title 头名字
browser.close()
forward()
前进,browser.foeward()
.back()
后退,browser.back()
.refresh()
刷新,browser.refresh()
.current_url
返回当前页面url,browser.current_url
实例:登录12306
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/1/20 18:33 # @Author : lingxiangxiang # @File : demon9.py from selenium import webdriver import random import time def randomSleep(minS, maxS): time.sleep((maxS - minS) * random.random() + minS) browser = webdriver.Chrome(r"C:Program Files (x86)GoogleChromeApplicationchromedriver.exe") url = "https://kyfw.12306.cn/otn/login/init" browser.get(url=url) print(browser.find_element_by_id("username").text) browser.find_element_by_id("username").clear() browser.find_element_by_id("username").send_keys("974644081@qq.com") randomSleep(2, 5) browser.find_element_by_id("password").send_keys(“xxxxxxxxx") randomSleep(1, 4) time.sleep(6) browser.find_element_by_id("loginSub").click() randomSleep(2, 5) print(browser.get_cookies()) browser.quit()
实例:登录京东
from selenium import webdriver import random import time def randomSleep(minS, maxS): time.sleep((maxS - minS) * random.random() + minS) browser = webdriver.Chrome(r"C:Program Files (x86)GoogleChromeApplicationchromedriver.exe") # browser = webdriver.Chrome() # Home browser.get("https://passport.jd.com/new/login.aspx") # Login by username and password randomSleep(1, 2) browser.find_element_by_xpath("//a[@clstag='pageclick|keycount|201607144|2']").click() # browser.find_element_by_tag_name("pageclick|keycount|201607144|2").click() # Username and password randomSleep(1, 2) browser.find_element_by_id("loginname").send_keys(“xxxxxxx") print(browser.find_element_by_id("loginname").text) randomSleep(1, 3) browser.find_element_by_id("nloginpwd").send_keys(“xxxxxx") # Submit, wait for a long time randomSleep(5, 10) browser.find_element_by_id("loginsubmit").click() print(browser.get_cookies()) randomSleep(3, 5) browser.quit()