• 针对scrapy安装新建项目的各种疑难杂症


     之前安装下载各种模块,最后pip install scrapy安装scrapy爬虫框架。在针对爬取多个url的数据时,集成大量数据这时候需要用到scrapy爬虫。

    这里放上一个scrapy安装教程链接:https://my.oschina.net/xtfjt1988/blog/364577

    前天运行新建的scrapy项目时,scrapy shell+url。。。然后就报错了。

    网上查看该错误,说的是python版本跟pywin32不匹配。我的天呐,各种尝试,以为是pywin32版本错误,不停下载、删除、安装、配置,最后进入python命令查看版本,结果发现python的版本是32bit的,于是在网上下载64位的python2.7.13,下载双击进行安装,覆盖前版本。这时候在cmd输入“python”查看版本,ok显示为64位了。

    接下来满心欢喜打算一切搞定进入scrapy查看命令。exm??

    心神俱疲哎,于是思考了一番,决定重新安装scrapy,那就表示那些个第三方模块都要卸载再重新安装!!注意,所有的第三方模块都卸了重装哎,这里拿出删除的其中一个例子。

    将scrapy卸载后准备重装,先重装所需要的各个模块,例如pyOpenSSL Windows64位的链接:http://download.csdn.net/detail/mr_computer/7790587

    再根据cmd提示的报错信息查找解决相关问题,no matter where,只要不再重复报一个错误就好了,问题很快的得到解决,主要是模块版本问题。

    再例如最后一个报错,解决需要pip install twisted==13.1.0 模块版本一定要匹配!!!

    ok,最后测试scrapy是否安装成功:

    遇见错误了仔细去看,你遇见的问题大家都遇到过,不停地调试调试就好了。

  • 相关阅读:
    CSP模拟11
    P3870 [TJOI2009]开关
    P2357 守墓人(分块)
    那一天她离我而去 (最短路)
    礼物(概率dp)
    收集邮票(概率dp)
    齿轮
    water
    【纪中受难记】——C3D4:万里无云
    zz maven eclipse svn 上传下载
  • 原文地址:https://www.cnblogs.com/yang-ye/p/7088601.html
Copyright © 2020-2023  润新知