python Scrapy爬虫框架

简介

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。

其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下：

Scrapy组件

l  引擎(Scrapy)

用来处理整个系统的数据流处理, 触发事务(框架核心)

l  调度器(Scheduler)

用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, <br data-filtered="filtered">由它来决定下一个要抓取的网址是什么, 同时去除重复的网址

l  下载器(Downloader)

用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)

l  爬虫(Spiders)

爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面

l  项目管道(Pipeline)

负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，<br data-filtered="filtered">将被发送到项目管道，并经过几个特定的次序处理数据。

l  下载器中间件(Downloader Middlewares)

位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。

l  爬虫中间件(Spider Middlewares)

介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。

l  调度中间件(Scheduler Middewares)

介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应

Scrapy运行流程

1)        引擎从调度器中取出一个链接(URL)用于接下来的抓取

2)        引擎把URL封装成一个请求(Request)传给下载器

3)        下载器把资源下载下来，并封装成应答包(Response)

4)        爬虫解析Response

5)        解析出实体（Item）,则交给实体管道进行进一步的处理

6）     解析出的是链接（URL）,则把URL交给调度器等待抓取

安装Scrapy

(1)依赖包

xml, an efficient XML and HTML parser

parsel, an HTML/XML data extraction library written on top of lxml,

w3lib, a multi-purpose helper for dealing with URLs and web page encodings

twisted, an asynchronous networking framework

cryptography and pyOpenSSL, to deal with various network-level security needs

   (2)安装

                1、安装wheel

        pip install wheel

            2、安装lxml

        https://pypi.python.org/pypi/lxml/4.1.0

            3、安装pyopenssl

        https://pypi.python.org/pypi/pyOpenSSL/17.5.0

            4、安装Twisted

        https://www.lfd.uci.edu/~gohlke/pythonlibs/

            5、安装pywin32

        https://sourceforge.net/projects/pywin32/files/

            6、安装scrapy

        pip install scrapy

查看安装是否成功,输入命令

scrapy version

 

新建第一个项目

新建tutorial工程

scrapy startproject scrapytest

scrapytest/

      scrapy.cfg          # deploy configuration file

      spiders/           # project's Python module, you'll import your code from here

        __init__.py

        items.py         # project items definition file

        middlewares.py   # project middlewares file

        pipelines.py     # project pipelines file

        settings.py      # project settings file

        spiders/         # a directory where you'll later put your spiders

         __init__.py

进入scrapytest目录，使用命令创建一个基础爬虫类

cd scrapytest

scrapy genspider Mycninfo cninfo.com.cn

编辑文件

【scrapytest/scrapytest/spiders/Mycninfo.py】

# -*- coding: utf-8 -*-
import scrapy
import json
import os
import time

# scrapy crawl Mycninfo
class MycninfoSpider(scrapy.Spider):
    name = 'Mycninfo'
    allowed_domains = ['cninfo.com.cn']
    start_urls = ['http://www.cninfo.com.cn/new/index']

    def parse(self, response):
        keyWord='002304'
        url='http://www.cninfo.com.cn/new/information/topSearch/query'
        yield scrapy.FormRequest(
            url = url,
            formdata = {"keyWord" : keyWord, "maxNum" : "10"},
            callback = self.parse_url_info
        )
        
    def parse_url_info(self,response):
        try:
            #print(response.text)
            data = eval(response.text)
            orgId = data[0].get("orgId")
            code = data[0].get("code")
            url = "http://www.cninfo.com.cn/new/disclosure/stock?stockCode={}&orgId={}".format(code,orgId)
            yield scrapy.Request(url=url,meta={"code":code,"orgId":orgId},callback=self.parse_page,dont_filter=True)
        except Exception as e:
            print(e)
            
    def parse_page(self,response):
        try:
            code = response.meta.get("code")
            orgId = response.meta.get("orgId")
            url="http://www.cninfo.com.cn/new/hisAnnouncement/query"
            plate = "sh" if code.startswith("60") else "sz"
            parm = {"sh":{"plate":"sh","column":"sse"},"sz":{"plate":"sz","column":"szse"}}
            query={
                'stock': '{},{}'.format(code,orgId),
                'tabName': 'fulltext',
                'pageSize': '30',
                'pageNum': '1',
                'column': parm[plate]["column"],  
                'category': 'category_ndbg_szsh',
                'plate': parm[plate]["plate"],
                'seDate': '',
                'searchkey': '',
                'secid': '',
                'sortName': '',
                'sortType': '',
                'isHLtitle': 'true'
            }
            #print(query)
            yield scrapy.FormRequest(
                url = url,
                formdata = query,
                callback = self.parse_ndbg
            )
        except Exception as e:
            print("e",e)
        
    def parse_ndbg(self,response):
        try:
            data = response.text
            data_json = json.loads(data)
            for data in data_json.get('announcements',[]):
                name = data.get("secName")
                announcementId = data.get("announcementId")
                announcementTitle = data.get("announcementTitle")
                announcementTime = data.get("announcementTime")
                t = time.localtime(int(announcementTime)//1000)
                date = time.strftime("%Y-%m-%d",t)
                url = "http://www.cninfo.com.cn/new/announcement/download?bulletinId={}&announceTime={}".format(announcementId,date)
                #print("{}_{}".format(name,announcementTitle),url)
                data = {"name":name,"announcementTitle":announcementTitle,"url":url}
                yield data
        except Exception as e:
            print(e)
        
        
         

【scrapytest/scrapytest/pipelines.py】

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import json
from scrapy.pipelines.files import FilesPipeline
from scrapy.exceptions import DropItem

from crawler.items import *
from crawler.DB import MysqlDB

class DownloadPipeline(FilesPipeline):
    #下载文件
    def get_media_requests(self, item, info):       
        # meta里面的数据是从spider获取，然后通过meta传递给下面方法：file_path
        yield scrapy.Request(url=item['url'],meta={'text':item['name'],'name':item['announcementTitle']})

    def item_completed(self, results, item, info):
        # 是一个元组，第一个元素是布尔值表示是否成功
        if not results[0][0]:
            raise DropItem('下载失败')
        return item
    
    def file_path(self, request, response=None, info=None):
        # 重命名，若不重写这函数，图片名为哈希
        # 接收上面meta传递过来的图片名称
        name = request.meta['name']
        text = request.meta['text']
        # 提取url前面名称作为图片名
        # 分文件夹存储的关键：{0}对应着name；{1}对应着image_guid
        filename = u'{0}/{1}.pdf'.format(text, name)
        print(filename)
        return filename

【scrapytest/scrapytest/settings.py】

# -*- coding: utf-8 -*-

BOT_NAME = 'crawler'

SPIDER_MODULES = ['crawler.spiders']
NEWSPIDER_MODULE = 'crawler.spiders'
LOG_LEVEL= 'ERROR'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'crawler (+http://www.yourdomain.com)'

# Obey robots.txt rules


DOWNLOAD_DELAY = 1
ROBOTSTXT_OBEY = False
DEFAULT_REQUEST_HEADERS = {
   #'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
   'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
   'Connection':'keep-alive',
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
   'Accept-Language':'zh-CN,zh;q=0.9',
   
}
#下载文件存放的主目录
FILES_STORE = 'data' 
ITEM_PIPELINES = {
    'crawler.pipelines.DownloadPipeline': 300,
}

 启动

 cd scrapy

scrapy crawl Mycninfo