看到自己写的惨不忍睹的爬虫,觉得还是学一下Scrapy框架,停止一直造轮子的行为
我这里是windows10平台,python2和python3共存,这里就写python2.7安装配置Scrapy框架的过程
1,python安装过程不用多说,安装好了之后记得要添加python到环境变量里面去我这里是G盘,所以添加的环境变量为:
G:python2.7
G:python2.7Scripts
然后我们在命令行里面可以输入 python 进入python的交互模式
输入exit()退出交互模式,如果没有出现交互模式的话只能说明环境变量没有配置正确
2,安装pywin32
在windows下面必须安装pywin32,这里给出python2.7对应的pywin32百度网盘链接,失效了的话可以在评论指出
链接:https://pan.baidu.com/s/1jsErEcRpicOeihk2tyHVfw
提取码:bbr4
如果不是python2.7的话,到这个链接去下载对应版本的就可以了
https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/
找自己所对应的版本下载就OK,下载好了之后一直点下一步就行
这里更正一下,本来我以为pywin32不能使用pip下载,后来看了一个视频教程的时候发现是可以的,所以读者也可以不采用上面的方法进行下载,而是直接使用pip install pywin32进行下载,要方便很多
3,安装pip
这个现在好像下载了python就有吧
如果没有的话也问题不大,去网上看别人的博客怎么下载pip吧
下载好了在cmd模式下输入pip --version可以查看版本信息
4,下载pyOPENSSL
在Windows下,是没有预装pyOPENSSL的,而在Linux下是已经安装好的。
安装地址:https://launchpad.net/pyopenssl
也可以使用pip命令下载
pip install pyOpenSSL
网速决定下载速度
5,接着我们安装lxml
这个也很简单
pip install lxml
6,最后安装Scrapy
pip install Scrapy
pip会另外下载其他依赖的包,我们等待一会就好了
7,我们检测是否安装好
在cmd里面输入Scrapy。如果像这样,就代表安装好了
如果没有出现的话也不要放弃,检查一下上面的步骤有没有遗漏的,再重新进行安装