多线程爬取图片（生产者-消费者模式）

通过生产者-消费者模式实现多线程爬取图片：

　　1、生产者通过不断爬取网页中图片的url存入图片队列中

　　2、消费者通过图片队列中的url爬取图片并下载到本地

　　3、多线程的方式，爬取与下载同时进行，直到子线程结束，输出爬取时间

#多线程下载图片
#生产者-消费者模式
import requests,queue,threading
from lxml import etree
from queue import Queue
import os,time
#生产者，将每个图片的url放入队列中
class product(threading.Thread):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
    }
    #初始化
    def __init__(self,page_url,img_url):
        super(product,self).__init__()
        self.page_url = page_url
        self.img_url = img_url
    #子线程运行
    def run(self):
        while True:
            #如果图片url爬去完毕，则跳出循环，结束子线程
            if self.page_url.empty():
                break;

            #获取将爬取的页面url，并解析
            html = self.page_url.get()
            self.parse_html(html)
    #获取图片的url
    def parse_html(self,html):
        request = requests.get(html, headers=self.headers)
        html = etree.HTML(request.text)
        #解析html
        imgs = html.xpath("//div[@class='page-content text-center']//img[@class!='gif']", encodding='gbk')
        for img in imgs:
            href = img.get("data-original")
            name = img.get("alt")
            #获取后缀
            suffix = os.path.splitext(href)[1]
            filename = "img\" + name + suffix
            print(filename)
            #将爬取的图片url和图片名字加入图片队列中
            self.img_url.put((href,filename))
#消费者，根据图片url爬取图片
class consume(threading.Thread):
    def __init__(self,page_url,img_url):
        super(consume,self).__init__()
        self.page_url = page_url
        self.img_url = img_url
    def run(self):
        while True:
            #如果图片队列为空且页面队列为空，则推出循环
            if self.page_url.empty() and self.img_url.empty():
                break
            href,filename = self.img_url.get()
            res = requests.get(href)
            with open(filename, 'wb') as fp:
                fp.write(res.content)
def main():
    #基本url
    base_url = "http://www.doutula.com/photo/list/?page={}"
    #设置页面队列为10，图片队列为200
    page_url = Queue(10)
    img_url = Queue(200)
    #把需要爬取的网页url放入队列中
    for i in range(1,10):
        url = base_url.format(i)
        page_url.put(url)
    #设置生产者，开始爬取每个网页的图片地址
    for i in range(8):
        t = product(page_url,img_url)
        t.start()
    #设置消费者，根据图片队列中的url爬取图片
    for j in range(8):
        tt = consume(page_url,img_url)
        tt.start()
        #设置消费者子线程运行完之后，才会推出main主线程
        tt.join()

if __name__ == '__main__':
    times = time.time()
    tmain = threading.Thread(target=main)
    tmain.start()
    tmain.join()
    times1 = time.time()
    print(times1-times)