一:安装框架
升级匹配版本:pip install --upgrade pip
通过pip安装Scrapy框架 pip install scrapy
二:爬虫步骤:
①新建项目(在命令行先进入想要放置的项目文件的目录)
scrapy startproject 项目名
例:scrapy startproject douban
②创建一个自定义名称的爬虫
1>如果是在shell命令中进行操作
首先就进入项目文件,然后输入以下命令:scrapy genspider 爬虫名 爬取域范围(爬虫名不能与项目名相同)
例:scrapy genspider douban_spider movie.douban.com
2>如果是在pycharm中的terminal中进行操作
首先要进入项目中的spiders包下,然后输入以下命令:scrapy genspider 爬虫名 爬取域范围(爬虫名不能与项目名相同)
例:scrapy genspider douban_spider movie.douban.com
3>setting设置
1.将ROBOTSTXT_OBEY = True 改为 False
2.打开管道:
ITEM_PIPELINES = {
'douban.pipelines.DoubanPipeline': 300,
}
3.打开该设置并修改:
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
}
③明确目标(编写items.py):明确你想要抓取的目标
④制作爬虫(spider/xxspider.py):制作爬虫开始爬取页面
⑤存储内容(pipelines.py):设计管道存储爬取内容
⑥启动爬虫项目
scrapy crawl 爬虫名
例:scrapy crawl douban_spider