- 爬虫框架Scrapy:该框架依赖的库比较多,至少需要依赖库有Twisted、lxml、pyOpenSSL;而在不同平台环境又各不相同,所以在安装之前最好确保把一些基本库安装好
- 官方网站:https://scrapy.org
- 官方文档:https://docs.scrapy.org
- PyPi:https://pypi.python.org/pypi/Scrapy
- GitHub:https://github.com/scrapy/scrapy
- 中文文档:http://scrapy-chs.readthedocs.io
- pyOpenSSL下载:https://pypi.python.org/pypi/pyOpenSSL#downloads
- Twisted下载:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
- PyWin32下载:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/
1 # Anaconda安装:Python是使用Anaconda安装的情况下 2 conda install Scrapy 3 # Windows安装下需要安装依赖库 4 # 安装lxml 5 pip install lxml 6 # 安装pyOpenSSL 7 pip install pyOpenSSL-19.0.0-py2.py3-none-any.whl 8 # 安装Twisted 9 pip install Twisted-19.2.1-cp37-cp37m-win_amd64.whl 10 # 安装PyWin32,这里安装的是Build 221版本 11 # 安装Scrapy 12 pip install Scrapy
- 验证安装成功输入scrapy