Selector使用
使用背景
我需要使用类似spider项目中,response使用的xpath和css获取页面指定数据,但因为爬取页面较小我们不想创建一个spider项目时,就可以使用scrapy提供的Selector对象
使用代码
from scrapy.selectot import Selector import requests res = requests.get("http://xxxx") selector = Selector(text=res.text) field = selector.css(".class a").extract_first() field1 = selector.css(".class a").extract_first() field2 = selector.css(".class a").extract_first() field3 = selector.css(".class a").extract_first() field4 = selector.css(".class a").extract_first()