python笔记25（爬虫基础）

笔记地址：http://xiaobaibook.com/details/49/

一、爬虫介绍

• 什么是爬虫

     爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。

• 哪些语言可以实现爬虫

     1.php：可以实现爬虫。php被号称是全世界最优美的语言（当然是其自己号称的，就是王婆卖瓜的意思），但是php在实现爬虫中支持多线程和多进程方面（对异步数据的爬取封装的不够好）做的不好。

     2.java：可以实现爬虫，比较主流的实现爬虫语言。java可以非常好的处理和实现爬虫，是唯一可以与python并驾齐驱且是python的头号劲敌。但是java实现爬虫代码较为臃肿，重构成本较大。

     3.c、c++：可以实现爬虫，偏底层的编程语言，对爬虫的模块封装的不够多。但是使用这种方式实现爬虫纯粹是是某些人（大佬们）能力的体现，却不是明智和合理的选择。

     4.python：可以实现爬虫，比较主流的实现爬虫语言。python实现和处理爬虫语法简单，代码优美，支持的模块繁多，学习成本低，具有非常强大的框架（scrapy等）且一句难以言表的好！没有但是！

• 爬虫的分类

     1.通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。  简单来讲就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。 
  • 搜索引擎如何抓取互联网上的网站数据？
    • 门户网站主动向搜索引擎公司提供其网站的url
    • 搜索引擎公司与DNS服务商合作，获取网站的url
    • 门户网站主动挂靠在一些知名网站的友情链接中

    　　2.聚焦爬虫：聚焦爬虫是根据指定的需求抓取网络上指定的数据。例如：获取豆瓣上电影的名称和影评，而不是获取整张页面中所有的数据值。

•  robots.txt协议

      - 如果自己的门户网站中的指定页面中的数据不想让爬虫程序爬取到的话，那么则可以通过编写一个robots.txt的协议文件来约束爬虫程序的数据爬取。robots协议的编写格式可以观察淘宝网的robots（访问www.taobao.com/robots.txt即可，User-agent后的数据值是爬虫程序的类型，Allow后的数据值可以爬取，Disallow后的数据值不能爬取）。但是需要注意的是，该协议只是相当于口头的协议，并没有使用相关技术进行强制管制，所以该协议是防君子不防小人。但是我们在学习爬虫阶段编写的爬虫程序可以先忽略robots协议。

• 反爬虫

     - 门户网站通过相应的策略和技术手段（反爬策略，作用于门户网站中），防止爬虫程序进行网站数据的爬取。

• 反反爬虫

     - 爬虫程序通过相应的策略和技术手段(作用于爬虫程序中），破解门户网站的反爬虫手段，从而爬取到相应的数据。

二、urllib模块学习（很少用，可以自学）

三、requests模块学习

1、基于如下5点展开requests模块的学习

• 什么是requests模块
  • requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。
• 为什么要使用requests模块
  • 因为在使用urllib模块的时候，会有诸多不便之处，总结如下：
    • 手动处理url编码
    • 手动处理post请求参数
    • 处理cookie和代理操作繁琐
    • ......
  • 使用requests模块：
    • 自动处理url编码
    • 自动处理post请求参数
    • 简化cookie和代理操作
    • ......
• 如何使用requests模块
  • 安装：
    • pip install requests
  • 使用流程
    • 指定url
    • 基于requests模块发起请求
    • 获取响应对象中的数据值
    • 持久化存储

import requests

# 1、指定url
url = 'https://www.sogou.com/'

# 2、基于requests模块进行请求发送，
# get方法最终会返回一个响应对象，根据指定的url发起了一个get请求
response = requests.get(url=url)

# 3、获取响应对象中存取的数据值
# text属性可以返回响应对象中字符串类型的数据值（页面数据 json数据 xml数据）
# content属性可以返回响应对象中bytes类型的数据值（音频、视频、图片）
print(response.text)
print(response.content)
# encoding表示的是响应对象中存储数据的编码格式，可以修改
response.encoding = 'gbk'
# status_code 表示响应对象的状态码
print(response.status_code)
# url 表示获取响应对象的url
print(response.url)
# headers 表示获取响应对象的头信息
print(response.headers)

# 4、持久化存储
with open('./sogou.html', 'w', encoding='utf8') as fp:
    fp.write(response.text)

 备注：爬去的代码可能样式会丢失，不影响页面数据。

• 通过5个基于requests模块的爬虫项目对该模块进行学习和巩固
  • 基于requests模块的get请求
    • 需求：爬取搜狗指定词条搜索后的页面数据
  • 基于requests模块的post请求
    • 需求：登录豆瓣电影，爬取登录成功后的页面数据
  • 基于requests模块ajax的get请求
    • 需求：爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据
  • 基于requests模块ajax的post请求
    • 需求：爬取肯德基餐厅查询http://www.kfc.com.cn/kfccda/index.aspx中指定地点的餐厅数据
  • 综合练习
    • 需求：爬取搜狗知乎指定词条指定页码下的页面数据

2、代码展示

需求：爬取搜狗指定词条搜索后的页面数据。

import requests
import os

# 指定搜索关键字
word = input('enter a word you want to search:')

# 自定义请求头信息
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
}

# 指定url
url = 'https://www.sogou.com/web'

# 封装get请求参数
prams = {
    'query': word,
    'ie': 'utf-8'
}

# 发起请求
response = requests.get(url=url, params=param)

# 获取响应数据
page_text = response.text
with open('./sougou.html', 'w', encoding='utf-8') as fp:
    fp.write(page_text)

import requests

# 原生的url中不能存在中文字符，如果存在需要编码转换（ascii）
# 在requests模块中，url中可以存在中文，在urllib模块总，url不能存在中文,需要手动转码
# 第一种形式，url中直接带参数
# url = 'https://www.sogou.com/web?query=美女图片'
# response = requests.get(url=url)
# page_text = response.text
# print(page_text)

# 第二种形式
url = 'https://www.sogou.com/web?'
# 对url携带的参数进行字典形式的封装，封装好后，将字典赋值给get方法的params参数即可
param = {
    'query': '美女图片',
}
response = requests.get(url=url, params=param)
page_text = response.text
print(page_text)

需求：登录豆瓣电影，爬取登录成功后的页面数据。

# 需求：登录豆瓣电影，爬取登录成功后的页面数据
import requests

# 进行登录操作
# 1、指定url
url = 'https://accounts.douban.com/login'
# 进行post请求处理,封装请求参数
data = {
    'ck': 'TNmg',
    'source': 'movie',
    'redir': 'https://www.douban.com',
    'form_email': 'xxx',
    'form_password': 'xxx',
    'login': '登录',
}
# 请求发送（psot）
response = requests.post(url=url, data=data)

page_text = response.text
fp = open('./douban.html', 'w', encoding='utf-8')
fp.write(page_text)
fp.close()

# 补充：自制定请求头信息
# User-Agent:请求载体的身份标识
# headers表示的就是自制定的请求头信息
# headers = {
#     #对UA进行重写操作（伪装）
#     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64)AppleWebKit/537.36(KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
# }
# response = requests.post(url=url, data=data,headers=headers)

需求：爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据。

import requests
import urllib.request

if __name__ == "__main__":
    #指定ajax-get请求的url（通过抓包进行获取），也可以在浏览器开发者工具>>Network>>XHR选项卡中获取url
    url = 'https://movie.douban.com/j/chart/top_list?'
    #定制请求头信息，相关的头信息必须封装在字典结构中
    headers = {
        #定制请求头中的User-Agent参数，当然也可以定制请求头中其他的参数
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
    }
    #定制get请求携带的参数(从抓包工具中获取)
    param = {
        'type':'5',
        'interval_id':'100:90',
        'action':'',
        'start':'0',
        'limit':'20'
    }
    #发起get请求，获取响应对象
    response = requests.get(url=url,headers=headers,params=param)
    #获取响应内容：响应内容为json串
    print(response.text)

备注：参数中的start和limit参数是可以修改的。

爬取肯德基餐厅查询http://www.kfc.com.cn/kfccda/index.aspx中指定地点的餐厅数据。

import requests
import urllib.request

if __name__ == "__main__":
    # 指定ajax-post请求的url（通过抓包进行获取）
    url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
    # 定制请求头信息，相关的头信息必须封装在字典结构中
    headers = {
        # 定制请求头中的User-Agent参数，当然也可以定制请求头中其他的参数
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
    }
    # 定制post请求携带的参数(从抓包工具中获取)
    data = {
        'cname': '',
        'pid': '',
        'keyword': '北京',
        'pageIndex': '1',
        'pageSize': '10'
    }
    # 发起post请求，获取响应对象
    response = requests.get(url=url, headers=headers, data=data)
    # 获取响应内容：响应内容为json串
    print(response.text)

需求：爬取搜狗知乎指定词条指定页码下的页面数据。

代理ip：http://www.goubanjia.com/

# 需求：爬取搜狗知乎指定词条指定页码下的页面数据
# urllib 模块需要手动证书，requests模块不需要手动证书
import requests
#指定url
url = 'http://zhihu.sogou.com/zhihu?'
#指定搜索关键字
word = input('enter a word')
#指定起始页码
start_page = input('enter a start page')
end_page = input('enter a end page')
#自定义请求头信息
headers = {
    # 定制请求头中的User-Agent参数，当然也可以定制请求头中其他的参数
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
}

for page in range(int(start_page), int(end_page) + 1):
    # 封装get请求参数
    param = {
        'query': word,
        'page': str(page) # 请求携带的参数必须为str
    }
    response = requests.get(url=url,params=param,headers=headers,proxies={"https":'123.1.150.244:80'})
    # 获取页面数据
    page_text = response.text
    file_name = word + str(page) + ".html"
    with open(file_name,'w',encoding='utf-8') as fp:
        print('爬取到了第%d页的数据'%page)
        fp.write(page_text)

四、三种数据解析方式学习

数据解析三种方式

引言：回顾requests实现数据爬取的流程

1. 指定url
2. 基于requests模块发起请求
3. 获取响应对象中的数据
4. 进行持久化存储

其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据。因此，本次课程中会给大家详细介绍讲解三种聚焦爬虫中的数据解析方式。至此，我们的数据爬取的流程可以修改为：

1. 指定url
2. 基于requests模块发起请求
3. 获取响应中的数据
4. 数据解析
5. 进行持久化存储

1、正解解析

• 常用正则表达式回顾：

单字符：
        . : 除换行以外所有字符
        [] ：[aoe] [a-w] 匹配集合中任意一个字符
        d ：数字  [0-9]
        D : 非数字
        w ：数字、字母、下划线、中文
        W : 非w
        s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ f

	v]。
        S : 非空白

数量修饰：
        * : 任意多次  >=0
        + : 至少1次   >=1
        ? : 可有可无  0次或者1次
        {m} ：固定m次 hello{3,}
        {m,} ：至少m次
        {m,n} ：m-n次

边界：
        $ : 以某某结尾 
        ^ : 以某某开头

分组：
        (ab)  
    贪婪模式： .*
    非贪婪（惰性）模式： .*?


    re.I : 忽略大小写
    re.M ：多行匹配
    re.S ：单行匹配

    re.sub(正则表达式, 替换内容, 字符串)

import re

#提取出python
key="javapythonc++php"
re.findall('python',key)[0]

#####################################################################

#提取出hello world
key="<html><h1>hello world<h1></html>"
re.findall('<h1>(.*)<h1>',key)[0]

#####################################################################

#提取170
string = '我喜欢身高为170的女孩'
re.findall('d+',string)

#####################################################################

#提取出http://和https://
key='http://www.baidu.com and https://boob.com'
re.findall('https?://',key)

#####################################################################

#提取出hello
key='lalala<hTml>hello</HtMl>hahah' #输出<hTml>hello</HtMl>
re.findall('<[Hh][Tt][mM][lL]>(.*)</[Hh][Tt][mM][lL]>',key)

#####################################################################

#提取出hit. 
key='bobo@hit.edu.com'#想要匹配到hit.
re.findall('h.*?.',key)

#####################################################################

#匹配sas和saas
key='saas and sas and saaas'
re.findall('sa{1,2}s',key)

#####################################################################

#匹配出i开头的行
string = '''fall in love with you
i love you very much
i love she
i love her'''

re.findall('^.*',string,re.M)

#####################################################################

#匹配全部行
string1 = """<div>静夜思
窗前明月光
疑是地上霜
举头望明月
低头思故乡
</div>"""

re.findall('.*',string1,re.S)

 项目需求：爬取糗事百科指定页面的糗图，并将其保存到指定文件夹中

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import requests
import re
import os

if __name__ == "__main__":
     url = 'https://www.qiushibaike.com/pic/%s/'
     headers={
         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
     }

     #指定起始也结束页码
     page_start = int(input('enter start page:'))
     page_end = int(input('enter end page:'))

     #创建文件夹
     if not os.path.exists('images'):
         os.mkdir('images')

     #循环解析且下载指定页码中的图片数据
     for page in range(page_start,page_end+1):
         print('正在下载第%d页图片'%page)
         new_url = format(url % page)
         response = requests.get(url=new_url,headers=headers)

         #解析response中的图片链接
         e = '<div class="thumb">.*?<img src="(.*?)".*?>.*?</div>'
         pa = re.compile(e,re.S)
         image_urls = pa.findall(response.text)

          #循环下载该页码下所有的图片数据
         for image_url in image_urls:
             image_url = 'https:' + image_url
             image_name = image_url.split('/')[-1]
             image_path = 'images/'+image_name
             image_data = requests.get(url=image_url,headers=headers).content

             with open(image_path,'wb') as fp:
                 fp.write(image_data)

2、Xpath解析

测试页面数据：

<html lang="en">
<head>
    <meta charset="UTF-8" />
    <title>测试bs4</title>
</head>
<body>
    <div>
        <p>百里守约</p>
    </div>
    <div class="song">
        <p>李清照</p>
        <p>王安石</p>
        <p>苏轼</p>
        <p>柳宗元</p>
        <a href="http://www.song.com/" title="赵匡胤" target="_self">
            <span>this is span</span>
        宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱    </a>
        <a href="" class="du">总为浮云能蔽日,长安不见使人愁</a>
        <img src="http://www.baidu.com/meinv.jpg" alt="" />
    </div>
    <div class="tang">
        <ul>
            <li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>
            <li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>
            <li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>
            <li><a href="http://www.sina.com" class="du">杜甫</a></li>
            <li><a href="http://www.dudu.com" class="du">杜牧</a></li>
            <li><b>杜小月</b></li>
            <li><i>度蜜月</i></li>
            <li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>
        </ul>
    </div>
</body>
</html>

常用xpath表达式回顾：

属性定位：
    #找到class属性值为song的div标签
    //div[@class="song"] 
层级&索引定位：
    #找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a
    //div[@class="tang"]/ul/li[2]/a

逻辑运算：
    #找到href属性值为空且class属性值为du的a标签
    //a[@href="" and @class="du"]

模糊匹配：
    //div[contains(@class, "ng")]
    //div[starts-with(@class, "ta")]

取文本：
    # /表示获取某个标签下的文本内容
    # //表示获取某个标签下的文本内容和所有子标签下的文本内容
    //div[@class="song"]/p[1]/text()
    //div[@class="tang"]//text()

取属性：
    //div[@class="tang"]//li[2]/a/@href

代码中使用xpath表达式进行数据解析：

1.下载：pip install lxml

2.导包：from lxml import etree

3.将html文档或者xml文档转换成一个etree对象，然后调用对象中的方法查找指定的节点
　　2.1 本地文件：tree = etree.parse(文件名)
                tree.xpath("xpath表达式")
　　2.2 网络数据：tree = etree.HTML(网页内容字符串)
                tree.xpath("xpath表达式")

安装xpath插件在浏览器中对xpath表达式进行验证：可以在插件中直接执行xpath表达式：

将xpath插件拖动到谷歌浏览器拓展程序（更多工具）中，安装成功；
启动和关闭插件 ctrl + shift + x；

项目需求：获取好段子中段子的内容和作者   http://www.haoduanzi.com：

from lxml import etree
import requests

url='http://www.haoduanzi.com/category-10_2.html'
headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
    }

url_content=requests.get(url,headers=headers).text

#使用xpath对url_conten进行解析
#使用xpath解析从网络上获取的数据
#实例化一个etree对象，并且将页面数据放置到etee对象中，对象类型为Element类型
tree=etree.HTML(url_content)

#解析获取当页所有段子的标题
#xpath函数返回值永远是一个列表，Element类型的对象都可以调用xpath方法
title_list=tree.xpath('//div[@class="log cate10 auth1"]/h3/a/text()')
ele_div_list=tree.xpath('//div[@class="log cate10 auth1"]')

text_list=[] #最终会存储12个段子的文本内容

for ele in ele_div_list:
    #段子的文本内容（是存放在list列表中）
    text_list=ele.xpath('./div[@class="cont"]//text()')
    #list列表中的文本内容全部提取到一个字符串中
    text_str=str(text_list)
    #字符串形式的文本内容防止到all_text列表中
    text_list.append(text_str)

print(title_list)
print(text_list)

3、BeautifulSoup解析

环境安装：

- 需要将pip源设置为国内源，阿里源、豆瓣源、网易源等

   - windows

    （1）打开文件资源管理器(文件夹地址栏中)
    （2）地址栏上面输入 %appdata%
    （3）在这里面新建一个文件夹  pip
    （4）在pip文件夹里面新建一个文件叫做  pip.ini ,内容写如下即可
        [global]
        timeout = 6000
        index-url = https://mirrors.aliyun.com/pypi/simple/
        trusted-host = mirrors.aliyun.com

   - linux

    （1）cd ~
    （2）mkdir ~/.pip
    （3）vi ~/.pip/pip.conf
    （4）编辑内容，和windows一模一样

- 需要安装：pip install bs4

     bs4在使用时候需要一个第三方库，把这个库也安装一下
     pip install lxml

遇到错误解决办法：AttributeError: module 'pip' has no attribute 'main'：

# 解决办法：根据提示找到pycharm安装目录下的helperspackaging_tool.py，打开找到以下代码：
def do_install(pkgs):
    try:
        import pip
    except ImportError:
        error_no_pip()
    return pip.main(['install'] + pkgs)
 
 
def do_uninstall(pkgs):
    try:
        import pip
    except ImportError:
        error_no_pip()
    return pip.main(['uninstall', '-y'] + pkgs)
并替换成以下代码保存：
def do_install(pkgs):
    try:
        #import pip
        try:
            from pip._internal import main
        except Exception:
            from pip import main
    except ImportError:
        error_no_pip()
    #return pip.main(['install'] + pkgs)
    return main(['install'] + pkgs)
 
 
def do_uninstall(pkgs):
    try:
        #import pip
        try:
            from pip._internal import main
        except Exception:
            from pip import main
    except ImportError:
        error_no_pip()
    #return pip.main(['uninstall', '-y'] + pkgs)
    return main(['uninstall', '-y'] + pkgs)

备注：文件名不能命名为bs4.py的文件，因为与内置的包文件重名，运行时会报错。

基础使用：

使用流程：       

    - 导包：from bs4 import BeautifulSoup
    - 使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或者属性去查找指定的节点内容
        （1）转化本地文件：
             - soup = BeautifulSoup(open('本地文件'), 'lxml')

        （2）转化网络文件：
             - soup = BeautifulSoup('字符串类型或者字节类型', 'lxml')

        （3）打印soup对象显示内容为html文件中的内容

基础巩固：

    （1）根据标签名查找
        - soup.a   只能找到第一个符合要求的标签

    （2）获取属性
        - soup.a.attrs  获取a所有的属性和属性值，返回一个字典
        - soup.a.attrs['href']   获取href属性
        - soup.a['href']   也可简写为这种形式

    （3）获取内容
        - soup.a.string  相当于xpath中/text()
        - soup.a.text  相当于xpath中//text()
        - soup.a.get_text()

       【注意】如果标签还有标签，那么string获取到的结果为None，而其它两个，可以获取文本内容

    （4）find：找到第一个符合要求的标签
        - soup.find('a')  找到第一个符合要求的
        - soup.find('a', title="xxx")
        - soup.find('a', alt="xxx")
        - soup.find('a', class_="xxx")
        - soup.find('a', id="xxx")

    （5）find_all：找到所有符合要求的标签，返回类型为列表
        - soup.find_all('a')
        - soup.find_all(['a','b']) 找到所有的a和b标签
        - soup.find_all('a', limit=2)  限制前两个

    （6）根据选择器选择指定的内容
               select:soup.select('#feng')
        - 常见的选择器：标签选择器(a)、类选择器(.)、id选择器(#)、层级选择器

            - 层级选择器：
                div .dudu #lala .meme .xixi  下面好多级
                div > p > a > .lala          只能是下面一级

        【注意】select选择器返回永远是列表，需要通过下标提取指定的对象

需求：使用bs4实现将诗词名句网站中三国演义小说的每一章的内容爬去到本地磁盘进行存储   

http://www.shicimingju.com/book/sanguoyanyi.html

import requests
from bs4 import BeautifulSoup

url = 'http://www.shicimingju.com/book/sanguoyanyi.html'

headers = {
    # 对UA进行重写操作（伪装）
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64)AppleWebKit/537.36(KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}

response = requests.get(url=url, headers=headers)

page_text = response.text

# 进行章节标题和内容的解析
# 实例化一个bs对象,soup为BeautifulSoup类型
soup = BeautifulSoup(page_text, 'lxml')

# 解析章节标题
li_list = soup.select(".book-mulu > ul > li")
fp = open('./sanguo.txt', 'w', encoding="utf-8")
for li in li_list:
    title = li.a.string
    content_url = "http://www.shicimingju.com" + li.a["href"]
    content_page_text = requests.get(url=content_url, headers=headers).text
    soup = BeautifulSoup(content_page_text, "lxml")
    # 章节对应的小说内容
    content = soup.find("div", class_="chapter_content").text
    fp.write(title + ":" + content)
fp.close()

 五、requests模块的cookie和代理操作

1、.基于requests模块的cookie操作

　　引言：有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的。写入到文件中的数据，不是个人页面的数据，而是人人网登陆的首页面。

　　- cookie概念：当用户通过浏览器首次访问一个域名时，访问的web服务器会给客户端发送数据，以保持web服务器与客户端之间的状态保持，这些数据就是cookie。

 　　- cookie作用：我们在浏览器中，经常涉及到数据的交换，比如你登录邮箱，登录一个页面。我们经常会在此时设置30天内记住我，或者自动登录选项。那么它们是怎么记录信息的呢，答案就是今天的主角cookie了，Cookie是由HTTP服务器设置的，保存在浏览器中，但HTTP协议是一种无状态协议，在数据交换完毕后，服务器端和客户端的链接就会关闭，每次交换数据都需要建立新的链接。就像我们去超市买东西，没有积分卡的情况下，我们买完东西之后，超市没有我们的任何消费信息，但我们办了积分卡之后，超市就有了我们的消费信息。cookie就像是积分卡，可以保存积分，商品就是我们的信息，超市的系统就像服务器后台，http协议就是交易的过程。

　　- 经过cookie的相关介绍，那应该如何抓取到个人信息页呢？

　　思路：

　　　　1.我们需要使用爬虫程序对人人网的登录时的请求进行一次抓取，获取请求中的cookie数据；

　　　　2.在使用个人信息页的url进行请求时，该请求需要携带 1 中的cookie，只有携带了cookie后，服务器才可识别这次请求的用户信息，方可响应回指定的用户信息页数据。

1）无验证码操作：

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import requests

if __name__ == "__main__":
    #登录请求的url（通过抓包工具获取）
    post_url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=201873958471'
    #创建一个session对象，该对象会自动将请求中的cookie进行存储和携带
    session = requests.session()
   #伪装UA
    headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    }
    formdata = {
        'email': '17701256561',
        'icode': '',
        'origURL': 'http://www.renren.com/home',
        'domain': 'renren.com',
        'key_id': '1',
        'captcha_type': 'web_login',
        'password': '7b456e6c3eb6615b2e122a2942ef3845da1f91e3de075179079a3b84952508e4',
        'rkey': '44fd96c219c593f3c9612360c80310a3',
        'f': 'https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3Dm7m_NSUp5Ri_ZrK5eNIpn_dMs48UAcvT-N_kmysWgYW%26wd%3D%26eqid%3Dba95daf5000065ce000000035b120219',
    }
    #使用session发送请求，目的是为了将session保存该次请求中的cookie
    session.post(url=post_url,data=formdata,headers=headers)
    get_url = 'http://www.renren.com/960481378/profile'
    #再次使用session进行请求的发送，该次请求中已经携带了cookie
    response = session.get(url=get_url,headers=headers)
    #设置响应内容的编码格式
    response.encoding = 'utf-8'
    #将响应内容写入文件
    with open('./renren.html','w') as fp:
        fp.write(response.text)

2）带验证码操作（云打码）：

推荐打码平台：http://www.yundama.com/

需要注册两个身份，一个是普通用户，一个是开发者；

开发者身份登录，在开发文档页面，点击调用示例及最新DLL，选择PythonHTTP调用示例下载’；

示例下载好后进行解压；

开发者身份登录，在我的软件页面-添加新软件-输入软件名称（软件密钥为自动生成），如下图：

登录普通用户中的题分价格页面，也可输入网址“http://www.yundama.com/price.html”，查看不同验证码类型；

然后将云打码中封装好的类导入代码，在使用示例中的流程。

import http.client, mimetypes, urllib, json, time, requests


######################################################################

class YDMHttp:
    apiurl = 'http://api.yundama.com/api.php'
    username = ''
    password = ''
    appid = ''
    appkey = ''

    def __init__(self, username, password, appid, appkey):
        self.username = username
        self.password = password
        self.appid = str(appid)
        self.appkey = appkey

    def request(self, fields, files=[]):
        response = self.post_url(self.apiurl, fields, files)
        response = json.loads(response)
        return response

    def balance(self):
        data = {'method': 'balance', 'username': self.username, 'password': self.password, 'appid': self.appid,
                'appkey': self.appkey}
        response = self.request(data)
        if (response):
            if (response['ret'] and response['ret'] < 0):
                return response['ret']
            else:
                return response['balance']
        else:
            return -9001

    def login(self):
        data = {'method': 'login', 'username': self.username, 'password': self.password, 'appid': self.appid,
                'appkey': self.appkey}
        response = self.request(data)
        if (response):
            if (response['ret'] and response['ret'] < 0):
                return response['ret']
            else:
                return response['uid']
        else:
            return -9001

    def upload(self, filename, codetype, timeout):
        data = {'method': 'upload', 'username': self.username, 'password': self.password, 'appid': self.appid,
                'appkey': self.appkey, 'codetype': str(codetype), 'timeout': str(timeout)}
        file = {'file': filename}
        response = self.request(data, file)
        if (response):
            if (response['ret'] and response['ret'] < 0):
                return response['ret']
            else:
                return response['cid']
        else:
            return -9001

    def result(self, cid):
        data = {'method': 'result', 'username': self.username, 'password': self.password, 'appid': self.appid,
                'appkey': self.appkey, 'cid': str(cid)}
        response = self.request(data)
        return response and response['text'] or ''

    def decode(self, filename, codetype, timeout):
        cid = self.upload(filename, codetype, timeout)
        if (cid > 0):
            for i in range(0, timeout):
                result = self.result(cid)
                if (result != ''):
                    return cid, result
                else:
                    time.sleep(1)
            return -3003, ''
        else:
            return cid, ''

    def report(self, cid):
        data = {'method': 'report', 'username': self.username, 'password': self.password, 'appid': self.appid,
                'appkey': self.appkey, 'cid': str(cid), 'flag': '0'}
        response = self.request(data)
        if (response):
            return response['ret']
        else:
            return -9001

    def post_url(self, url, fields, files=[]):
        for key in files:
            files[key] = open(files[key], 'rb');
        res = requests.post(url, files=files, data=fields)
        return res.text

import requests
from lxml import etree
import YunDaMa


# 该函数是用来使用云大码平台接口进行验证码识别，返回验证码对应的数据值
def getCode():
    # 普通用户用户名
    username = 'bobo328410948'

    # 密码
    password = 'bobo328410948'

    # 软件ＩＤ，开发者分成必要参数。登录开发者后台【我的软件】获得！
    appid = 6003

    # 软件密钥，开发者分成必要参数。登录开发者后台【我的软件】获得！
    appkey = '1f4b564483ae5c907a1d34f8e2f2776c'

    # 图片文件
    filename = './code.png'

    # 验证码类型，# 例：1004表示4位字母数字，不同类型收费不同。请准确填写，否则影响识别率。在此查询所有类型 http://www.yundama.com/price.html
    codetype = 2004

    # 超时时间，秒
    timeout = 5

    # 检查
    if (username == 'username'):
        print('请设置好相关参数再测试')
    else:
        # 初始化
        yundama = YunDaMa.YDMHttp(username, password, appid, appkey)

        # 登陆云打码
        uid = yundama.login();
        print('uid: %s' % uid)

        # 查询余额
        balance = yundama.balance();
        print('balance: %s' % balance)

        # 开始识别，图片路径，验证码类型ID，超时时间（秒），识别结果
        cid, result = yundama.decode(filename, codetype, timeout);
        print('cid: %s, result: %s' % (cid, result))

        return result


# 对带验证码的人人网登录页面进行请求发送，目的获取验证码图片
url = 'http://www.renren.com/SysHome.do'
headers = {
    # 对UA进行重写操作（伪装）
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64)AppleWebKit/537.36(KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}
page_textBymainPage = requests.get(url=url, headers=headers).text
# 解析出验证码图片，下载到本地
tree = etree.HTML(page_textBymainPage)
codeImg_url = tree.xpath('//*[@id="verifyPic_login"]/@src')[0]
codeImg_data = requests.get(url=codeImg_url, headers=headers).content
with open('./code.png', 'wb') as fp:
    fp.write(codeImg_data)
    print('验证码下载成功')

# 进行登录操作，为了获取cookie
# 云打码流程：
# 注册普通和开发者用户
# 在开发者用户中下载示例代码 HTTPPython
# 在开发者用户中创建一个软件

# code = input('enter a code:')
code = getCode()
session = requests.session()
url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2018901710806'
data = {
    'rkey': '2a442cd0c2f740407d5480c939cb9b50',
    'password': '2c195749c7255789411e985a029e806644a17c2bb5b475aa92c517502a1d7ee5',
    'origURL': 'http://www.renren.com/home',
    'key_id': '1',
    'icode': code,
    'f': '',
    'email': 'www.zhangbowudi@qq.com',
    'domain': 'renren.com',
    'captcha_type': 'web_login',
}
# 获取请求成功后的cookie数据（存到session中）
session.post(url=url, data=data)

# 使用携带了cookie的session进行二级子页面的请求发送
url = 'http://www.renren.com/289676607/profile'
page_text = session.get(url=url, headers=headers).text
with open('./renren.html', 'w', encoding='utf-8') as fp:
    fp.write(page_text)

 2、基于requests模块的代理操作

• 什么是代理

  • 代理就是第三方代替本体处理相关事务。例如：生活中的代理：代购，中介，微商......

• 爬虫中为什么需要使用代理

  • 一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。所以我们需要设置一些代理IP，每隔一段时间换一个代理IP，就算IP被禁止，依然可以换个IP继续爬取。

• 代理的分类：

  • 正向代理：代理客户端获取数据。正向代理是为了保护客户端防止被追究责任。

  • 反向代理：代理服务器提供数据。反向代理是为了保护服务器或负责负载均衡。

• 免费代理ip提供网站

  • http://www.goubanjia.com/

  • 西祠代理

  • 快代理

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import requests
import random

if __name__ == "__main__":
    #不同浏览器的UA
    header_list = [
        # 遨游
        {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},
        # 火狐
        {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},
        # 谷歌
        {
            "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}
    ]

    #不同的代理IP
    proxy_list = [
        {"http": "112.115.57.20:3128"},
        {'http': '121.41.171.223:3128'}
    ]

    #随机获取UA和代理IP
    header = random.choice(header_list)
    proxy = random.choice(proxy_list)

    url = 'http://www.baidu.com/s?ie=UTF-8&wd=ip'

    #参数3：设置代理
    response = requests.get(url=url,headers=header,proxies=proxy)
    response.encoding = 'utf-8'

    with open('daili.html', 'wb') as fp:
        fp.write(response.content)

    #切换成原来的IP
    requests.get(url, proxies={"http": ""})