• Python3安装Scrapy


     Microsoft Visual C++ Build Tools

      最近项目在写爬虫,项目经理给了个Python Scrapy的爬虫项目,要求使用Java实现相关功能。于是乎在本地先后安装了Python3和Scrapy,在安装Scrapy时出现了个小插曲,现在总结如下:

      第一、安装Scrapy

      查看网上安装scrapy,网友基本就是告诉你使用命令: pip install scrapy

    然而、不是很熟悉Python的时候,就会发现根本找不到pip命令,这里不是说在PTAH中配置了Python的环境变量就可以了,这是因为pip在python安装目录的Scripts文件夹中。如图:

    所以、这里还需要将Scripts加入环境变量PATH中,这样就可以直接使=使用命令行的方式安装Scrapy了。

      当你设置好环境变量后,准备安装Scrapy时,你又会惊喜的发现安装过程报了个错误:

    error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

      第二、安装Wheel  

      这个错误是在安装Scrapy所需要的中间件Twisted时,所需要的编译工具,如果你老老实实的去下载 Microsoft Visual C++ Build Tools,你就会发现这个工具不是一般的大,而且据网友反映,安装后依然无法安装Scrapy;现在、教你用另一种方式安装:

    1.执行命令:pip install wheel

    2.手动下载:Twisted文件,网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

      注意:这里你要下载和你本地的Python版本一致的Twisted文件;字符cp后为python的版本,即27表示Python2.7,36表示Python3.6,目前最新的稳定版是Python3.6

      

    3.安装Twisted:pip install [你下载的Twisted文件在本地的路径],如:pip install E://Twisted...cp36....amd64.whl

      这里可能报:Twisted-18.4.0-cp36-cp36m-win_amd64.whl is not a supported wheel on this platform.

      建议:请检查安装Python版本32位还是64位,以及有可能的文件名称是否支持。

    4.安装Scrapy:pip install scrapy

      以上各步骤都执行成功后,即可创建Scrapy爬虫项目了。小伙伴、有木有很期待。

  • 相关阅读:
    UVA 1557
    基于角色的权限设计(二)
    用DirectShow实现视频採集-流程构建
    oracle中schema指的是什么?
    GCC 命令行具体解释
    希尔排序
    单点登录SSO的实现原理
    济南最新公交线路一览(BRT)
    编写你自己的单点登录(SSO)服务
    C和指针 (pointers on C)——第五章:操作符和表达式
  • 原文地址:https://www.cnblogs.com/julygift/p/9063543.html
Copyright © 2020-2023  润新知