《python网络数据采集》读后感 第三章：开始采集2

1.Scrapy采集：

网络爬虫的挑战之一是你经常需要不断地重复一些简单任务:找出页面上的所有链接， 区分内链与外链，跳转到新的页面。

Scrapy 就是一个帮你大幅度降低网页链接查找和识别工作复杂度的 Python 库，它可以 让你轻松地采集一个或多个域名的信息。

a.articleSpider.py:

from scrapy.selector import Selector
from scrapy import Spider
from wikiSpider.wikiSpider.items import Article

class ArticleSpider(Spider):
    """
    这个类的名称(ArticleSpider)与爬虫文件的名称(wikiSpider)是不同的，
    这个类只是 在 wikiSpider 目录里的一员，仅仅用于维基词条页面的采集。
    对一些信息类型较多的大网站，你可能会为每种信息(如博客的博文、图书出版发行信息、专栏文章等)
    设置独立的 Scrapy 条目，每个条目都有不同的字段，但是所有条目都在同一个 Scrapy 项目里运行。
    """
    name = "article"
    allowed_domains = ["en.wikipedia.org"]
    start_urls = ["http://en.wikipedia.org/wiki/Main_Page",
                    "http://en.wikipedia.org/wiki/Python_%28programming_language%29"]

    def parse(self, response):
        item = Article()
        title = response.xpath('//h1/text()')[0].extract()
        print("Title is : " + title)
        item['item'] = title
        return item

这个爬虫先进入 start_urls 里面的两个页面，收集信息，然后停止。虽然这个爬虫很简 单，但是如果你有许多 URL 需要采集，Scrapy 这种用法会非常适合。

为了更加的完善，定义一些规则让Scrapy在每个页面查找URL链接：

from scrapy.selector import Selector
from scrapy import Spider
from wikiSpider.wikiSpider.items import Article
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor

class ArticleSpider(CrawlSpider):
    """
    这个类的名称(ArticleSpider)与爬虫文件的名称(wikiSpider)是不同的，
    这个类只是 在 wikiSpider 目录里的一员，仅仅用于维基词条页面的采集。
    对一些信息类型较多的大网站，你可能会为每种信息(如博客的博文、图书出版发行信息、专栏文章等)
    设置独立的 Scrapy 条目，每个条目都有不同的字段，但是所有条目都在同一个 Scrapy 项目里运行。
    """
    name = "article"
    allowed_domains = ["en.wikipedia.org"]
    start_urls = ["http://en.wikipedia.org/wiki/Python_%28programming_language%29"]
    rules = [Rule(SgmlLinkExtractor(allow=('(/wiki/)((?!:).)*$'),),
                  callable="parse_item", follow=True)]

    def parse_item(self, response):
        item = Article()
        title = response.xpath('//h1/text()')[0].extract()
        print("Title is : " + title)
        item['title'] = title
        return item

b. items.py:

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy
from scrapy import Item,Field

#每个item（条目）对象表示网站上的一个页面
class WikispiderItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    pass

class Article(Item):
    #name = scrapy.Field()
    title = Field()