scrapy框架详解

Scrapy框架

• Scrapy Engine:主要负责控制系统各个部件之间的data flow,以及当特定事件发生的时候触发的事件

• Scheduler：接受engine发来的request放入队列中，当engine要求的时候再提供给engine

• Downloader:负责拉取page并返给engine,engine之后再传递给Spiders

• Spider:用户自行编写的代码类，这部分的用户代码主要完成解析response并提取item，或者是跟进页面中获取额外的link url

• litem Pipeline：清晰、验证和存储数据

• Downloader Middlewares:位于Scrapy引擎和下载器之间的框架，主要处理Scrapy引擎与下载器的请求及响应

• Spider Middlewares:主要处理响应的输入和请求输出

• Scheduler Middewares:介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应

  流程

  1、引擎从调度器中取出一个链接（url)用于接下来的抓取

  2、引擎把url封装成一个请求（Request)传给下载器

  3、下载器把资源下载下来，并封装成应答包(Response)

  4、爬虫解析Response

  5、解析出实体（ltem),则交给实体管道进行进一步的处理

  6、解析出的是链接（url），则把url交给调度器等待抓取

1、工程建立

scrapy startproject hellospider  

• scrapy.cfg:项目的配置文件

• myxiaopapa：该项目的python模块，在这里面写代码

• myxiaopapa/items.py:需要提取的数据结构定义文件

• myxiaopapa/middlewares.py:是和Scrapy的请求/响应处理相关联的框架

• myxiaopapa/pipelines.py：用来对items里面提取的数据做进一步处理，如保存等

• myxiaopapa/settings.py:项目的配置文件

• myxiaopapa/spiders：放置spider代码的目录

2、实现过程

• 在items.py中定义自己要抓取的数据

import scrapy
class MyxiaopapaItem(scrapy.Item):
    ##抓取商品的标题、价格、状态
    title=scrapy.Field()
    price=scrapy.Field()
    status=scrapy.Fied()

• 在spiders目录下编辑自己爬虫文件(我的文叫tamall.py)

import scrapy
from urllib.parse import urlencode
from myxiaopapa import items

class TamllSpider(scrapy.Spider):
   '''
   name:scrapy唯一定位实例的属性，必须唯一
   allowed_domains:允许爬取的域名列表，不设置表示允许爬取所有
   start_requests:从start_urls中读取链接，使用make_requests_from_url生成Request,我们可以再start_requests方法中根据自己的需求写入自定义的规律链接
   parse:回调函数，处理response并返回处理后的数据跟需要跟进的url
   log：打印日志信息
   closed:关闭spider
   '''
    name='tamall'
    allowed_domains=['www.tmall.com']
    start_urls=['http://httpbin.org/get']
	def start_request(self):
        for q in self.qs:
            self.param={
                "自己拼接的路径"
            }
        url=self.api+urlencode(self.param)
        yied scrapy.Request(
            url=url,callback=self.gettotalpage,dont_filter=True)
    def gettotalpage(self,response):
        totalpage = response.css(
            '[name="totalPage"]::attr(value)').extract_first()
        self.param['totalPage']=int(totalpage)
        for i in range(1,self.param['totalPage']+1)
        	self.param['jumpto']=i
            url=self.api+urlencode(self.param)
            yield scrapy.Request(
                url=url,callback=self.get_info,dont_filter=True)
            
     def get_info(self,response):
        product_list=response.css('.product')
        for product in product_list:
            title=product.css('筛选条件').extract_first()
            price=product.css('筛选条件').extract_first()
            status=product.css('筛选条件').extract_first()
            
            item=items.MyxiaopapaItem()
            item['title']=title
            item['price']=price
            item['status']=status
            yeid item

• 在pipelines.py中进行数据库存储

import pymongo

class MyxiaopapaPiepeline(object):
    def __init(self,host,port,db,table):
        self.host=host
        self.port=port
        self.db=db
        self.table=table
        
    @classmethod
    def from_crawler(cls,crawl):
        port=crawl.settings.get('PORT')
        host=crawl.settings.get('HOST')
        db=crawl.settings.get('DB')
        table=crawl.settings.get('TABLE')
        return cls(host,port,db,table)
    
    def open_spider(self,crawl):
        self.client=pymongo.MongoClient(port=self.port,host=self.host)
        db_obj=self.client[self.db]
        self.table_obj=db_obj[self.table]
        
    def close_spider(self,crawl):
        self.client.close()
        
    def process_item(self,item,spider):
        self.table_obj.insert(dict(item))
        print('存储成功')
        return item

• 在settings.py 中对相关配置进行设置

  BOT_NAME='myxiaopapa'
    
  SPIDER_MODULES=['myxiaopapa.spiders']
  
   NEWSPIDER_MODULE='myxiaopapa.spiders'

   HOST='ip地址'
   PORT='端口号'
   DB='数据库名'
   TABLE='表名'

   ROBOTSTXT_OBEY=False
    
 DEFAULT_REQUEST_HEADERS = {		    'Accept':'text/html,application/xhtml+xml,application/xml;
                            q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
   "User-Agent": "请求头"
}
  DOWNLOADER_MIDDLEWARES = {
   'myxiaopapa.middlewares.MyxiaopapaDownloaderMiddleware': 300, # 数值越小，优先级越高
}