scrapy 深入图片处理

目录

• scrapy 深入：
  • 重构：
  • item:
  • pip:
  • settings

scrapy 深入：

FilesPipeline ，典型的工作流程如下所示:

    在一个爬虫里，你抓取一个项目，把其中图片的URL放入 file_urls 组内。

    项目从爬虫内返回，进入项目管道。

    当项目进入 FilesPipeline，file_urls 组内的URLs将被Scrapy的调度器和下载器（这意味着调度器和下载器的中间件可以复用）安排下载，当优先级更高，会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态，直到完成文件的下载（或者由于某些原因未完成下载）。

    当文件下载完后，另一个字段(files)将被更新到结构中。这个组将包含一个字典列表，其中包括下载文件的信息，比如下载路径、源抓取地址（从 file_urls 组获得）和图片的校验码(checksum)。 files 列表中的文件顺序将和源 file_urls 组保持一致。如果某个图片下载失败，将会记录下错误信息，图片也不会出现在 files 组中。

 

使用Imagespipeline ，典型的工作流程如下所示:

    在一个爬虫里，你抓取一个项目，把其中图片的URL放入 images_urls 组内。

    项目从爬虫内返回，进入项目管道。

    当项目进入 Imagespipeline，images_urls 组内的URLs将被Scrapy的调度器和下载器（这意味着调度器和下载器的中间件可以复用）安排下载，当优先级更高，会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态，直到完成文件的下载（或者由于某些原因未完成下载）。

    当文件下载完后，另一个字段(images)将被更新到结构中。这个组将包含一个字典列表，其中包括下载文件的信息，比如下载路径、源抓取地址（从 images_urls 组获得）和图片的校验码(checksum)。 images 列表中的文件顺序将和源 images_urls 组保持一致。如果某个图片下载失败，将会记录下错误信息，图片也不会出现在 images 组中。

重构：

#需要安装pillow模块
import scrapy
from jiandan.items import JiandanItem
 
from scrapy.crawler import CrawlerProcess
 
class jiandanSpider(scrapy.Spider):
    name = 'jiandan'
    allowed_domains = []
    start_urls = ["http://jandan.net/ooxx"]
 
 
 
    def parse(self, response):
        item = JiandanItem()
        item['image_urls'] = response.xpath('//img//@src').extract()#提取图片链接
        # print 'image_urls',item['image_urls']
        yield item
        new_url= response.xpath('//a[@class="previous-comment-page"]//@href').extract_first()#翻页
        # print 'new_url',new_url
        if new_url:
            yield scrapy.Request(new_url,callback=self.parse)

item:

import scrapy
 
class JiandanItem(scrapy.Item):
    # define the fields for your item here like:
    image_urls = scrapy.Field()#图片的链接
    images = scrapy.Field()

pip:

import os
import urllib
import scrapy
from scrapy.exceptions import DropItem
from scrapy.pipelines.images import ImagesPipeline
 
from jiandan import settings
 
class JiandanPipeline(ImagesPipeline):#继承ImagesPipeline这个类，实现这个功能
 
    def get_media_requests(self, item, info):#重写ImagesPipeline   get_media_requests方法
        '''
        :param item:
        :param info:
        :return:
        在工作流程中可以看到，
        管道会得到文件的URL并从项目中下载。
        为了这么做，你需要重写 get_media_requests() 方法，
        并对各个图片URL返回一个Request:
        '''
        for image_url in item['image_urls']:
            yield scrapy.Request(image_url)
 
 
    def item_completed(self, results, item, info):
        '''
 
        :param results:
        :param item:
        :param info:
        :return:
        当一个单独项目中的所有图片请求完成时（要么完成下载，要么因为某种原因下载失败），
         item_completed() 方法将被调用。
        '''
        image_paths = [x['path'] for ok, x in results if ok]
        if not image_paths:
            raise DropItem("Item contains no images")
        return item

settings

BOT_NAME = 'jiandan'
 
SPIDER_MODULES = ['jiandan.spiders']
NEWSPIDER_MODULE = 'jiandan.spiders'
 
 
ITEM_PIPELINES = {
   'jiandan.pipelines.JiandanPipeline': 1,
 
}
# ITEM_PIPELINES = {'jiandan.pipelines.ImagesPipeline': 1}
IMAGES_STORE='E:\jiandan2'
DOWNLOAD_DELAY = 0.25
IMAGES_THUMBS = {#缩略图的尺寸，设置这个值就会产生缩略图
    'small': (50, 50),
    'big': (200, 200),
}