• scrapy的安装与使用


    一开始安装的时候用不了pip install命令安装scrapy

    需要在cmd进行多几块命令

    一开始我是这样的

    D:python>pip install scrapy

    报错说invalid syntax

    后面百度了一下:

    解决办法是:

    在命令行下cd 进对应python的script文件目录,再执行pip指令即可。

    但是在打开Scripts的时候有可能也会报错,说内部或外部没有这个文件

    这时候应该考虑的环境变量的问题,在path处添加安装环境变量就可以了

    上面的事情昨晚就可以安装scrapy了

    不过做完pip install scrapy安装完后,还会继续出现一个叫wheel的问题

    这时候就要去百度搜索 python whl  

    找到https://www.lfd.uci.edu/~gohlke/pythonlibs/这个链接的网址

    ctrl+F 输入twisted

    点击进去会出现

     选中属于自己环境的版本就可以下载了

    我下载完就放进python的script文件目录里面

    再用cmd重复前面的

    pip install Twisted就可以了

    安装完重新打开cmd

    在Scripts处打开scrapy,因为用pip安装的文件都会在Scripts里面。

    用scrapy bench检查scrapy是否真正安装完成。

    如果可以就可以输入命令:scrapy startproject XXX

    开始scrapy的爬虫之旅吧!

  • 相关阅读:
    DoTween插件的使用
    Unity3D协程的简单使用
    排序和双指针,减小时间复杂度
    Unity3D自定义菜单组件
    滑动窗口思路分析
    Unity3D中的序列化特性和DLL特性
    求数组的交集,以及贪心算法的使用
    随笔开始啦
    实例26 循环体的过滤器
    实例25 终止循环体
  • 原文地址:https://www.cnblogs.com/sucanji/p/10931709.html
Copyright © 2020-2023  润新知