在Scrapy中使用Django的ORM异步存储数据

在Scrapy中使用Django的ORM异步存储数据

django的orm可以脱离django使用，只要我们将django的环境舒适化就可以了。

在scrapy中使用

首先我们的创建一个django项目，然后在创建一个scrapy项目。

然后再scrapy中初始化django的环境

一般我们在scrapy的项目的__init__.py里面初始化

import django
import os
import sys

# 将django的项目路径加入到当前的环境
sys.path.insert(0, os.path.dirname(os.getcwd()))

# django项目舒适化
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'djangoProject.settings')

django.setup()

初始化完成之后，我们就可以直接在scrapy中导入django的orm并使用了。

异步存储

因为scrapy是异步的爬虫框架，如果我们在里面直接使用django的orm会有io阻塞的操作。这时候我们就借助asyncio这个包来帮助我们在scrapy中运行同步阻塞的代码。

因为我们scrapy中处理数据都放在pipline中处理，所以我放在pipline中展示

from concurrent.futures import ThreadPoolExecutor
import asyncio
from goods import models
from . import items


class WebspidersPipeline:
    '''todo 异步存储'''
    
    # 创建事件循环对象
    loop = asyncio.get_event_loop()
    # 创建线程池
    executor = ThreadPoolExecutor()
    # 任务队列
    tasks = []
	
    # 处理不同的pipline
    async def process_item(self, item, spider):
        if isinstance(item, items.GoodsItem):
            return self.process_goods_item(item, spider)
        elif isinstance(item, items.GoodsSizeItem):
            return self.process_goods_size_item(item, spider)
        elif isinstance(item, items.GoodsStockItem):
            return self.process_goods_stock_item(item, spider)
        return item
	
    def process_goods_item(self, item, spider):
        '''将保存数据的处理方法加入到任务队列'''
        task = self.loop.run_in_executor(self.executor, self.executor_func(models.Goods, item), )
        self.tasks.append(task)
        return item

    def process_goods_size_item(self, item, spider):
        task = self.loop.run_in_executor(self.executor, self.executor_func(models.GoodsSize, item), )
        self.tasks.append(task)
        return item

    def process_goods_stock_item(self, item, spider):
        task = self.loop.run_in_executor(self.executor, self.executor_func(models.GoodsStock, item), )
        self.tasks.append(task)
        return item

    @staticmethod
    def executor_func(model, item):
        '''主要作用是将有参数的函数转换为无参数的函数返回,方便run_in_executor方法调用,这个方法它只接受位置传参，不接受关键字传参'''
        def func():
            return model.objects.create(**item)

        return func

    def close_spider(self, spider):
        '''当爬虫关闭的时候调用这个方法保存数据'''
        self.loop.run_until_complete(asyncio.wait(self.tasks))

运行结果

之前直接使用同步的方法存储的时候，2000个请求+数据存储花费了大约10分钟（sqlite3）

后面使用异步存储的时候，使用sqlite3会报错，因为sqlite3是单线程的，我们是一个线程池对象，并发存储会被sqlite3拒绝（database was locked）

后面改用了mysql存储，2000个请求+数据存储花费了大约40s，这个提升量还是很惊人的。

后面分析了一下，在scrapy中使用同步的方式存储会导致scrapy的异步请求会等待同步的存储完成之后才去执行，大量的时间浪费了等待上面。

后面单独执行网络请求部分，没有数据存储，2000个请求花费了大约25s旁边。