Scrapy,一个网络爬虫的框架,首先第一步肯定是安装。
参考网上的文章。
安装过程中需要用到pip工具,请自行安装。
1.安装python
这个是必须的,既然都用到scrapy了,肯定已经安装了python,这个略过。
2.安装pywin32
下载地址:http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/
根据系统的不同,选择32位或者64位的。然后直接运行下载的exe就行
3.Visual C++ 2008 Redistributables和Win32OpenSSL_Light-1_0_2a的安装
下载地址:http://slproweb.com/products/Win32OpenSSL.html
下载下来exe文件,直接执行安装就可以了。把OpenSSL的bin目录添加到环境变量(C:OpenSSL-Win32)
4.1.安装twisted依赖zope.interface
下载地址:https://pypi.python.org/pypi/zope.interface#download
下载下来是个egg文件,直接安装就可以了。
4.2.安装twisted依赖pyopenssl
下载地址:https://www.egenix.com/cryptodownload/?python=2.7+installer&file=egenix-pyopenssl-0.13.8.win32-py2.7.msi
下载下来是个egg文件,直接安装就可以了。
4.3.安装twisted依赖安装lxml
下载地址:https://pypi.python.org/pypi/lxml/
直接运行下载的exe就行
5.安装w3lib
下载地址:https://pypi.python.org/pypi/w3lib#downloads
下载下来安装包,使用python setup.py install命令进行安装
6.cssselect
直接使用pip安装就可以了
pip install cssselect
7.安装twisted
下载地址:http://twistedmatrix.com/trac/wiki/Downloads
直接运行下载的exe就行
8.安装service_identity
下载地址:https://pypi.python.org/pypi/service_identity#downloads
下载下来安装包,使用python setup.py install命令进行安装
9.安装cryptography
下载地址:https://pypi.python.org/pypi/cryptography
直接使用命令安装下载下拉的whl文件
10.安装cffi
下载地址:https://pypi.python.org/pypi/cffi
直接使用命令安装下载下拉的whl文件
11.scrapy
直接使用pip安装就可以了
pip install scrapy
最后大功告成,