from scrapy import signals # 此为官方推荐的信号使用方法,用来关闭浏览器 @classmethod def from_crawler(cls, crawler, *args, **kwargs): spider = super(YourSpider, cls).from_crawler(crawler, *args, **kwargs) crawler.signals.connect(spider.closeSpider, signals.spider_closed) return spider def closeSpider(self): self.driver.quit() # 说明 # spider.closeSpider是为了调用 def closeSpider(self):方法 # signals.spider_closed 发出信号,当爬虫关闭时调用,更可以使用spider_opened等各种方法,这些在源码中都可以找到 def parse(self, response): pass
这里是官方提供的最新的方法,在自己的爬虫类中添加以上两个方法