一、安装(windows下)
1、安装wheel
pip install wheel
安装之后,下面下载的whl文件就可以利用pip install 下载文件
的方法进行安装
2、lxml
我是直接搜索的,而且要下对版本号,比如我用的python3.7,就下载c37的
https://www.lfd.uci.edu/~gohlke/pythonlibs/
3、PyOpenssl
https://pypi.org/project/pyOpenSSL/#files
4、Twisted
和第二步是一个下载地址,直接搜搜就行,安装方法也一样
https://www.lfd.uci.edu/~gohlke/pythonlibs/
5、pywin32
这里自己选一下,找到适合自己的,这个直接双击运行就会安装,他会自动识别python路径,python2和python3共存的也没问题
https://sourceforge.net/projects/pywin32/files/pywin32/
6、安装Scarpy
pip install scrapy
安装完成之后在命令行输入scrapy,显示结果如下即代表成功
二、基本用法
1、新建并进入项目
输入以下命令,然后进入文件夹即可发现已经创建成功scrapy startproject 项目名
cd 项目名
这里用quotes.toscrape.com举个栗子
scrapy genspider 名称 网址
scrapy genspider quotes quotes.toscrape.com