Scrapy-01-追踪爬取

• 目的：利用scrapy完成盗墓笔记小说的抓取
• 创建项目：
  • scrapy   startproject    books
  • cd  books
  • scrapy   genspider    dmbj
• 编写parse方法

  • # -*- coding: utf-8 -*-
    import scrapy
    
    
    class DmbjSpider(scrapy.Spider):
        name = 'dmbj'
        allowed_domains = ['www.cread.com/chapter/811400395/69162457.html']
        start_urls = ['http://www.cread.com/chapter/811400395/69162457.html/']
    
        def parse(self, response):
            title = response.xpath('//h1/text()').extract_first()
            content = response.xpath('//div[@class="chapter_con"]/text()').extract_first()
            with open('{}.txt'.format(title), 'w') as f:
                f.write(content)

    观察网页源码，利用xpath对信息进行提取，然后写入一个txt文本文件

  • 追踪爬取，在完成对单页的爬取之后，接下来对整篇小说进行爬取
  • 首先分析网页：
    • 单页爬取已经完成，想要爬取下一章就得找到下一章的url
    • 网页的最后又一个"下一章"的按钮，我们拿到按钮里面的href属性的值就行了
    • 注意href的值为相对url，我们需要将完整的url拼接起来
    • 利用response.urljoin(你的相对url)，即可完成完整的url拼接
  • 提取到下一页的绝对url之后利用scrapy.Request方法来对下一页进行爬取
  • 这里的allowed_domains 要改成"www.cread.com"

  • # -*- coding: utf-8 -*-
    import scrapy
    
    
    class DmbjSpider(scrapy.Spider):
        name = 'dmbj'
        allowed_domains = ['www.cread.com']
        start_urls = ['http://www.cread.com/chapter/811400395/69162457.html/']
    
        def parse(self, response):
            title = response.xpath('//h1/text()').extract_first()
            content = response.xpath('//div[@class="chapter_con"]/text()').extract_first()
            with open('{}.txt'.format(title), 'w') as f:
                f.write(content)
            next_url = response.xpath('//a[@id="go_next"]/@href').extract_first()
            url = response.urljoin(next_url)
            return scrapy.Request(url)

  • 最后scrapy crawl dmbj   运行爬虫开始抓取