Scrapy爬取简单百度页面

Scrapy爬取百度页面

------------------------------------------

spiders-baiduspider.py

'''
要求导入scrapy
所有类一般是XXXSpider命名
所有爬虫类是scrapy.Spider的子类
scrapy爬取百度
关闭配置的机器人协议
'''

import scrapy

class BaiduSpider(scrapy.Spider):

    # name是爬虫的名称
    name = "baidu"

    # 起始url列表
    start_urls = ['http://www.baidu.com']


    # 负责分析downloader下载得到的结果
    def parse(self, response):
        '''
        只是保存网页即可
        :param response:
        :return:
        '''
        with open('baidu.html', 'w', encoding='utf-8')  as f:
            f.write(response.body.decode('utf-8'))

 ===========================

start_urls = xxxxxxxxxxxxxxxxxxxx  起始地址

parse函数分析网页：网页已经被downloader下来了，重写spider的parse函数

scrapy crawl baidu 终端下运行(name = "baidu")