爬虫——爬取百度贴吧每个帖子里面的图片

现在我们用正则来做一个简单的爬虫，我们尝试爬取某个百度贴吧里面的所有帖子，并且将这个帖子里首页每个楼层发布的图片下载到本地。

分析：以美女吧为例

　　第一页：https://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&pn=0

　　第二页：https://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&pn=50

　　第三页：https://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&pn=100

　　……

可以发现，url地址中pn及其前面的部分是相同的，改变的只是pn后面的值

不难发现，每页中共有50个帖子，所有pn的值是以每页50的值递增。

则第page页的pn值为：(page - 1) * 50

而kw=%E7%BE%8E%E5%A5%B3为urllib.parse.urlencode{"kw":"美女"}

#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'

"""
用正则做一个简单的爬虫：尝试爬取某个贴吧里的所有帖子，并且将帖子里每层楼发布的图片下载到本地。
例：美女吧（https://tieba.baidu.com/f? + kw=%E7%BE%8E%E5%A5%B3 + &pn=50）
https://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&pn=50
其中：
    kw=%E7%BE%8E%E5%A5%B3为urllib.parse.urlencode({"kw":"美女"})
    pn为值从0开始，每页为50个帖子，故：
    第一页，pn的值为：0
    第二页，pn的值为：50
    第三页，pn的值为：100
    ……
"""

import os
import re
import urllib.request

# 一个爬虫类
class Spider(object):
    """
    一个爬虫类
    """
    # 初始化
    def __init__(self, name):
        """
        类的初始化
        :param name: 百度贴吧名
        :return:
        """
        # User-Agent头
        self.header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36'}
        keyword = urllib.parse.urlencode({"kw":name})
        self.url = "https://tieba.baidu.com/f?" + keyword + "&pn="

        self.run()

    # 获取帖子的最后一页
    def getLastPage(self, url):
        """
        获取url帖子的尾页的pn值
        :param url: url地址
        :return: pn值
        """
        html = self.loadPage(url)
        html = html.decode("utf-8")
        # 利用正则匹配尾页的pn值
        pattern = re.compile(r'<a href=.*?pn=(d+).*?>尾页</a>')
        try:
            pn = pattern.findall(html)[0]
            pn = int(pn)
        except:
            pn = 1

        return pn

    # 爬虫开始工作
    def run(self):
        """
        爬虫开始工作
        :return:
        """
        start_page = 1
        end_page = self.getLastPage(self.url) // 50 + 1
        print("该吧共" + str(end_page) + "页")
        for page in range(start_page, end_page + 1):
            # 计算pn的值
            pn = (page - 1) * 50
            # 拼接成完整的url地址
            full_url = self.url + str(pn)
            # 调用loadPage()函数，下载full_url的页面内容
            html = self.loadPage(full_url)
            # 调用screenPage()函数，筛选下载的页面内容
            item_list = self.screenPage(html)
            print("正在下载第" + str(page) + "页，共" + str(len(item_list)) + "个帖子")
            # 调用loadImage()函数，下载帖子里首页的图片
            self.loadImage(item_list)

    # 下载网页内容
    def loadPage(self, url):
        """
        下载url的页面内容
        :param url: 需下载页码的url地址
        :return: 页面内容
        """
        # url 连同 headers，一起构造Request请求，这个请求将附带 chrome 浏览器的User-Agent
        request = urllib.request.Request(url, headers = self.header)
        # 向服务器发送这个请求
        response = urllib.request.urlopen(request)
        # 获取网页内容：bytes
        html = response.read()

        return html

    # 筛选内容
    def screenPage(self, html):
        """
        筛选内容：筛选出每层楼帖子的链接
        :param html: 页面内容
        :return: 需下载的图片链接地址
        """
        # 转码：bytes转utf-8
        html = html.decode("utf-8")
        # 利用正则匹配每层楼帖子的链接
        pattern = re.compile(r'<a href="(/p/d+).*?>.*?</a>', re.S)
        item_list = pattern.findall(html)

        return item_list

    # 下载帖子里首页里面的图片
    def loadImage(self, item_list):
        """
        下载帖子里首页里面的图片
        :param item_list: 需下载图片的帖子的ID列表
        :return: None
        """
        for id in item_list:
            # 根据id拼接帖子链接
            link = "https://tieba.baidu.com" + id
            start_page = 1
            end_page = self.getLastPage(link)
            print("正在下载帖子：" + link + " 中图片")
            image_no = 0
            for page in range(start_page, end_page + 1):
                # 拼接完整链接
                full_link = link + "?pn=" + str(page)
                # 获取需下载图片的帖子的页面内容
                html = self.loadPage(full_link)
                # 转码：bytes转utf-8
                html = html.decode("utf-8")
                # 利用正则匹配帖子中的图片链接
                pattern = re.compile(r'<img class="BDE_Image".*?src="(.*?)".*?>', re.S)
                # 图片链接列表
                image_list = pattern.findall(html)
                for image in image_list:
                    image_no = image_no + 1
                    self.writeImage(image, id[3:], image_no)

                print("帖子：" + full_link + " 共下载" + str(len(image_list)) + "个图片")

    # 向本地磁盘中存储图片
    def writeImage(self, url, id, image_no):
        """
        向本地磁盘中存储图片
        :param url: 图片url
        :param id: 帖子id：本地文件夹
        :param image_no: 图片序号
        :return:
        """
        # 判断是否存在对应的文件夹
        if not os.path.exists("image/" + id):
            # 若不存在，则创建
            os.makedirs("image/" + id)
        # 图片文件名：id + "_" + 5位图片序号
        image_no = str(image_no)
        file_name = "image/" + id + "/" + id + "_" + "0" * (6 - len(image_no)) + image_no + ".jpg"
        # 以wb方式打开文件
        file = open(file_name, "wb")
        # 获取图片名为名为
        images = self.loadPage(url)
        # 写入图片
        file.write(images)
        # 关闭文件
        file.close()

# 主函数
if __name__ == '__main__':
    # 要爬取的百度贴吧名
    name = input("请输入您要爬取的百度贴吧名：")
    # 创建一个爬虫对象
    mySpider = Spider(name)