汽车之家下载文件和图片

# scrapy框架里下载问价和图片
# 判断文件夹和路径是否存在

# 爬虫文件
import scrapy
from bmw.items import BmwItem

class Bme5Spider(scrapy.Spider):
    name = 'bme5'
    allowed_domains = ['car.autohome.com.cn']
    start_urls = ['https://car.autohome.com.cn/pic/series/65.html']

    def parse(self, response):
        # selectors --> list
        uiboxs = response.xpath("//div[@class='content']/div[@class='row']//div[@class='uibox']")[1:]
        for uibox in uiboxs:
            category = uibox.xpath(".//div[@class='uibox-title']/a/text()").get()
            # print(category)
            urls = uibox.xpath(".//ul/li/a/img/@src").getall()
            # for url in urls:
            #     url = "https://car.autohome.com.cn" + url
            #     print(url)
            urls = list(map(lambda url:"https:" + url,urls))
            # print(urls)
            item = BmwItem(category=category,urls=urls)
            yield item

            
# 管道文件  把图片保存 
import os
from urllib import request

class BmwPipeline(object):
    def __init__(self):
        # 获取当前pipeline文件所在的目录路径 os.path.dirname(__file__)
        # 获取最外层bmw的路径os.path.dirname(os.path.dirname(__file__))
        # 在最外层bmw目录下创建一个文件夹 images, 获取images的路径
        self.path = os.path.join(os.path.dirname(os.path.dirname(__file__)), 'images')
        if not os.path.exists(self.path):
            print("images文件夹不存在")
            os.mkdir(self.path)  # 创建images文件夹


    def process_item(self, item, spider):
        category = item['category']
        urls = item['urls']

        category_path = os.path.join(self.path,category)
        if not os.path.exists(category_path):
            os.mkdir(category_path)
        for url in urls:
            # print(url)
            image_name = url.split("_")[-1]
            request.urlretrieve(url,os.path.join(category_path,image_name))

        return item

scrapy 为下载item中包含的文件(比如在爬取到产品时也想同时保存对应的图片) 提供了一个可重用的item pipeline
这些pipeline有些共同的方法和结构,我们称之为media pipeline
一般来说有Files pipeline 和 images pipeline


为什么要使用scrapy内置的下载文件的方法?
1.避免重新下载已经下载过的文件或图片 (避免图片的重复下载)
2.可以方便的指定文件存储的路径
3.可以将下载的图片转换成通用的格式, 比如png或者jpg
4.可以方便生成缩略图
5.可以方便的检测图片的宽高,确保满足最小限制
6.异步下载 (重要)

# 下载文件的files pipeline
步骤:
1. 定义好一个item,然后在这个items.py文件中定义两个属性,分别是file_urls(用的多)和files(用的少), file_urls是用来存储需要下载的文件的url连接,需要一个列表

2. 当文件下载完成后,会把文件下载的相关信息存储到item的files属性中, 比如下载路径,下载的url和文件的检验码等

3. 在配置文件settings中,配置FILES_STORE,这个配置用来设置文件下载下来的路径

4. 启动pipeline: 在settings文件中, ITEM_PIPELINES中设置scrapy.pipelines.files.FilesPipeline:1

# 下载图片的images Pipeline
当使用images Pipeline下载文件的时候步骤:
1. 定义好一个item,然后在这个items.py文件中定义两个属性,分别是image_urls和images, images_urls是用来存储需要下载的文件的url连接,需要一个列表

2. 当文件下载完成后,会把文件下载的相关信息存储到item的files属性中, 比如下载路径,下载的url和文件的检验码等

3. 在配置文件settings中,配置IMAGES_STORE,这个配置用来设置文件下载下来的路径

4. 启动pipeline: 在ITEM_PIPELINES中设置scrapy.pipelines.images.ImagesPipeline:1

# 宝马5系图片下载
# 在上面代码的基础上稍微修改, 实现异步爬取
# 先在items 文件中定义两个属性

# items文件
import scrapy
class BmwItem(scrapy.Item):
    # define the fields for your item here like:
    category = scrapy.Field()
    image_urls = scrapy.Field()  
    images = scrapy.Field()
    pass


# 爬虫文件
import scrapy
from bmw.items import BmwItem

class Bme5Spider(scrapy.Spider):
    name = 'bme5'
    allowed_domains = ['car.autohome.com.cn']
    start_urls = ['https://car.autohome.com.cn/pic/series/65.html']

    def parse(self, response):
        # selectors --> list
        uiboxs = response.xpath("//div[@class='content']/div[@class='row']//div[@class='uibox']")[1:]
        for uibox in uiboxs:
            category = uibox.xpath(".//div[@class='uibox-title']/a/text()").get()
            # print(category)
            urls = uibox.xpath(".//ul/li/a/img/@src").getall()
            # for url in urls:
            #     url = "https://car.autohome.com.cn" + url
            #     print(url)
            urls = list(map(lambda url:"https:" + url,urls))
            # print(urls)
            item = BmwItem(category=category,image_urls=urls)
            yield item


# settings文件 原先的管道文件不再执行了
ITEM_PIPELINES = {
   # 'bmw.pipelines.BmwPipeline': 300, 
"scrapy.pipelines.images.ImagesPipeline":1 #不执行管道文件
}

# 图片下载的路径 供image.pipelines使用
import os
IMAGES_STORE = os.path.join(os.path.dirname(os.path.dirname(__file__)), 'images')


# 管道文件部分不用修改
# 执行效率比上面的快很多, 但是这样爬下来的图片没有分类, 都存在一个叫full的文件夹下面了. 现在需要把爬下来的图片进行一下分类
# 修改pipeline文件, 重写一个类

-------------------------------------------------------------------------------------------------------------
import os
from urllib import request
from scrapy.pipelines.images import ImagesPipeline
from bmw import settings

class BMWImagesPipeline(ImagesPipeline):
    # 这个方法是发送下载请求之前调用
    # 其实这个方法本身就是发送下载请求的
    def get_media_requests(self,item,info):
        request_objs = super(BMWImagesPipeline, self).get_media_requests(item,info)
        for request_obj in request_objs:
            request_obj.item = item # 把item绑定到request上面,为了下面的方法可以通过request获取item
        return  request_objs

    # 这个方法是图片被存储的时候调用,来获取这个图片存储的路径
    def file_path(self,request,response=None,info=None):
        path = super(BMWImagesPipeline, self).file_path(request,response,info)
        # 获取到item, 进一步获取item里的category
        category = request.item.get("category")
        # 获取图片的存储路径
        images_store = settings.IMAGES_STORE
        # 判断这里有没有目录
        category_path = os.path.join(images_store,category)
        if not os.path.exists(category_path):
            os.mkdir(category_path)
        image_name = path.replace("full/","")
        image_path = os.path.join(category_path,image_name)
        return image_path

 
# 但是现在获取的只是一部分的缩略图
# 现在要获取所有的高清图片

# 对比一下缩略图和高清图的地址url
# 缩略图: https://car2.autoimg.cn/cardfs/product/g28/M06/42/A7/t_autohomecar__ChsEnluqOjGABKqaAAeSzV7pUbA132.jpg
# 高清图(比缩略图少了t_): https://car2.autoimg.cn/cardfs/product/g28/M06/42/A7/autohomecar__ChsEnluqOjGABKqaAAeSzV7pUbA132.jpg

# '更多'页面的url (#后面部分可以删除)
https://car.autohome.com.cn/pic/series/65-1.html#pvareaid=2042222
https://car.autohome.com.cn/pic/series/65-10.html#pvareaid=2042222
https://car.autohome.com.cn/pic/series/65-3.html#pvareaid=2042222
    
# 对比'更多'url 的规律, 等会使用CrawlSpider
https://car.autohome.com.cn/pic/series/65-1.html
https://car.autohome.com.cn/pic/series/65-10.html
https://car.autohome.com.cn/pic/series/65-3.html
    
# 随便选一个'更多', 看看里面第二页的url, 找规律
https://car.autohome.com.cn/pic/series/65-3-p2.html
https://car.autohome.com.cn/pic/series/65-3-p3.html
    
https://car.autohome.com.cn/pic/series/65-10-p2.html
https://car.autohome.com.cn/pic/series/65-10-p3.html

# 获取高清图片 
# 类继承的时候  用CrawlSpider不用spider.Spider

from scrapy.spiders import CrawlSpider,Rule
from scrapy.linkextractors import LinkExtractor
from bmw.items import BmwItem


class Bme5Spider(CrawlSpider):
    name = 'bme5'
    allowed_domains = ['car.autohome.com.cn']
    start_urls = ['https://car.autohome.com.cn/pic/series/65.html']

    rules = (
        Rule(LinkExtractor(allow=r'https://car.autohome.com.cn/pic/series/65.+'),
             callback="parse_page",follow=True),

    )

    def parse_page(self, response): # 获取高清图
        category = response.xpath('//div[@class="uibox"]/div[1]/text()').get()
        print(category)
        srcs = response.xpath('//div[@class="uibox"]/div[2]/ul/li/a/img/@src').getall()
        # for src in srcs: # src 缩略图的链接, 把t_去掉获得高清图链接
        #     print("https"+src) #//car0.autoimg.cn/upload/2012/8/22/t_201208221937065324122.jpg
        srcs = list(map(lambda src:src.replace("t_",""),srcs))

        # 获得高清图链接列表
        srcs = list(map(lambda x: "https:" + x, srcs))
        item =  BmwItem(category=category,image_urls=srcs)
        yield item