06 python网络爬虫之request模板2

一、基于request模块的代理操作

• 什么是代理

  • 代理就是第三方代替本体处理相关事务。例如：生活中的代理：代购，中介，微商......

• 爬虫中为什么需要使用代理

  • 一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。所以我们需要设置一些代理IP，每隔一段时间换一个代理IP，就算IP被禁止，依然可以换个IP继续爬取。

• 代理的分类：

  • 正向代理：代理客户端获取数据。正向代理是为了保护客户端防止被追究责任。

  • 反向代理：代理服务器提供数据。反向代理是为了保护服务器或负责负载均衡。

• 免费代理ip提供网站

  • http://www.goubanjia.com/   （最好用，最常使用）

  • 西祠代理

  • 快代理

• 代码

　　　　proxies = {"协议头" : "ip地址和端口"}

　　　　proxies={"https":"202.117.121.253:8080"}

　　　　示例： 通过代理ip爬取百度的首页  https://www.baidu.com/

       

二、基于request模块的cookie操作

引入request模块的cookie操作：

　　有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如：

import requests
if __name__ == "__main__":

    #张三人人网个人信息页面的url
    url = 'http://www.renren.com/289676607/profile'

   #伪装UA
    headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    }
    #发送请求，获取响应对象
    response = requests.get(url=url,headers=headers)
    #将响应内容写入文件
    with open('./renren.html','w',encoding='utf-8') as fp:
        fp.write(response.text)

　

    - 结果发现，写入到文件中的数据，不是张三个人页面的数据，而是人人网登陆的首页面，why？首先我们来回顾下cookie的相关概念及作用：

　　　　- cookie概念：当用户通过浏览器首次访问一个域名时，访问的web服务器会给客户端发送数据，以保持web服务器与客户端之间的状态保持，这些数据就是cookie。

　　　　- cookie作用：我们在浏览器中，经常涉及到数据的交换，比如你登录邮箱，登录一个页面。我们经常会在此时设置30天内记住我，或者自动登录选项。那么它们是怎么记录信息的呢，答案就是今天的主角cookie了，Cookie是由HTTP服务器设置的，保存在浏览器中，但HTTP协议是一种无状态协议，在数据交换完毕后，服务器端和客户端的链接就会关闭，每次交换数据都需要建立新的链接。就像我们去超市买东西，没有积分卡的情况下，我们买完东西之后，超市没有我们的任何消费信息，但我们办了积分卡之后，超市就有了我们的消费信息。cookie就像是积分卡，可以保存积分，商品就是我们的信息，超市的系统就像服务器后台，http协议就是交易的过程。

- 经过cookie的相关介绍，其实你已经知道了为什么上述案例中爬取到的不是张三个人信息页，而是登录页面。那应该如何抓取到张三的个人信息页呢？

　　思路：

　　　　1.我们需要使用爬虫程序对人人网的登录时的请求进行一次抓取，获取请求中的cookie数据

　　　　2.在使用个人信息页的url进行请求时，该请求需要携带 1 中的cookie，只有携带了cookie后，服务器才可识别这次请求的用户信息，方可响应回指定的用户信息页数据

　　在保存通过requests保存cookie的同时，我们引入了更加方便储存方式，session

　　session对象和requests作用几乎一样,都可以进行请求的发送,并且请求发送的方式也是一致的,
　　session进行请求的发送,如果会产生cookie的话,则cookie会自动被存储到session对象中

　　通过requests获取一个session对象

　　　　　　session = requests.Session()

示例：获取人人网登陆后，用户的页面数据     http://www.renren.com

  

import requests
from lxml import etree
from urllib import request

# 获取一个session对象
session = requests.session()
#session对象和requests作用几乎一样,都可以进行请求的发送,并且请求发送的方式也是一致的,
#session进行请求的发送,如果会产生cookie的话,则cookie会自动被存储到session对象中


# 1. 获取人人网验证码图片：
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}
url ='http://www.renren.com/'
page_text = requests.get(url=url,headers=headers).text

#将验证码图片解析出来且进行持久化存储
tree = etree.HTML(page_text)
# 拿到当前人人网验证码图片的路径
code_img_src = tree.xpath('//*[@id="verifyPic_login"]/@src')[0]
# 将图片储存到当前文件下
request.urlretrieve(url=code_img_src,filename="./code.jpg")

code = get_code_text(2004,'./code.jpg')
# print(code)

# 模拟登陆
#拿到登陆所对应的url
login_url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2019031446506 '
data = {
    "email":"1696755793@qq.com",
    "icod":code,
    "origURL":"http://www.renren.com/home",
    "domain":"renren.com",
    "key_id":"1",
    "captcha_type":"web_login",
    "password":"4f1d552d7dc5ba646e93e653da9b06e5a24dceda905323a830e19f6352ae8bc0",
    "rkey":"9e75e8dc3457b14c55a74627fa64fb43",
    "f":""
}

#进行登录,当登录成功之后,可以获取cookie
#cookie就会被存储到session中
response = session.post(url=login_url,headers=headers,data=data)


#对登录成功后对应的当前用户的个人详情页进行请求发送
detail_url = 'http://www.renren.com/969393866/profile'
#该次get请求使用的是session对象,该请求已经携带了cookie
page_text = session.get(url=detail_url,headers=headers).text
with open("./renren.html","w",encoding="utf-8") as fp:
    fp.write(page_text)
    print("下载完毕")

这里只是实现功能的部分代码，实现的全部代码，请看下一章有实现的全部代码

三、基于multiprocessing.dummy 线程池的数据爬取

　　需求：爬取梨视频的视频信息，在上一节中，使用了requests方法进行了爬取

　　基于线程池的爬取

   

import requests
from lxml import etree
import re
import random
#导入线程池模块
from multiprocessing.dummy import Pool
#实例化线程池对象,开启5个线程
pool = Pool(5)

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}
url = 'https://www.pearvideo.com/category_9'
page_text = requests.get(url=url,headers=headers).text
# print(page_text)
vidio_list = []

tree = etree.HTML(page_text)
li_list = tree.xpath('//ul[@id = "listvideoListUl"]/li')
for li in li_list:
    detail_page_url = li.xpath('.//a/@href')[0]
    detail_page_url = "https://www.pearvideo.com/" + detail_page_url
    detail_page_text =  requests.get(url=detail_page_url,headers=headers).text
    # 拿到视频的链接
    ex = 'srcUrl="(.*?)",'
    video_url = re.findall(ex,detail_page_text)[0]
    vidio_list.append(video_url)

# 耗时操作可以使用并发编程
# 使用线程池进行视频数据的并发下载
video_one_url = lambda link:requests.get(url=link,headers=headers).content
vedio_data_lsit =pool.map(video_one_url,vidio_list)
      
def saveVideo(data):
    fileName = str(random.randint(0,1000))+".mp4"
    with open(fileName,"wb") as fp:
        fp.write(data)
        print(fileName + "下载完毕")
# 使用线程池进行视频数据的持久化存储
pool.map(saveVideo,vedio_data_lsit)    
pool.close()
pool.join()