• Scrapy爬虫框架的使用


    #_author:来童星
    #date:2019/12/24
    # Scrapy爬虫框架的使用
    #1.安装Twisted模块 https://www.lfd.uci.edu/~gohlke/pythonlibs/
    #2.单击Twisted索引
    import scrapy
    from scrapy.crawler import CrawlerProcess
    # 导入获取项目设置信息
    from scrapy.utils.project import get_project_settings
    class QuotesSpider(scrapy.Spider):
    name='quotes'# 定义爬虫名称
    def start_requests(self):
    # 设置爬虫目标的地址
    urls=['http://quotes.toscrape.com/page/1/',
    'http://quotes.toscrape.com/page/2/'

    ]
    #获取所有地址,有几个地址发送几次请求
    for url in urls:
    #发送网络请求
    yield scrapy.Request(url=url,callback=self.parse)
    def parse(self, response):
    #获取页数
    page=response.url.split('/')[-2]
    # 根据页数设置文件名称
    filename='quotes-%s.html'%page
    #写入文件的模式打开文件,如果没有该文件则创建文件
    with open(filename,'wb')as f:
    # 向文件中写入获取的html代码
    f.write(response.body)
    #输出保存文件的名称
    self.log('saved file %s'%filename)
    if __name__=='__main__':
    #创建CrawlerProcess类对象并传入项目设置信息参数
    process=CrawlerProcess(get_project_settings())
    # 设置需要启动的爬虫名称
    process.crawl('quotes')
    process.start()
  • 相关阅读:
    Java中的阻塞队列
    大数据笔记
    物联网小笔记
    shell 笔记
    Redis笔记
    rabbitMQ笔记
    java.lang.NoClassDefFoundError: freemarker/template/Template
    分布式系列学习-事务处理
    免费无需破解xshell xftp下载
    idea maven模块变灰或者java文件夹非 Sources文件夹
  • 原文地址:https://www.cnblogs.com/startl/p/12092627.html
Copyright © 2020-2023  润新知