• scrapy的安装与使用


    一开始安装的时候用不了pip install命令安装scrapy

    需要在cmd进行多几块命令

    一开始我是这样的

    D:python>pip install scrapy

    报错说invalid syntax

    后面百度了一下:

    解决办法是:

    在命令行下cd 进对应python的script文件目录,再执行pip指令即可。

    但是在打开Scripts的时候有可能也会报错,说内部或外部没有这个文件

    这时候应该考虑的环境变量的问题,在path处添加安装环境变量就可以了

    上面的事情昨晚就可以安装scrapy了

    不过做完pip install scrapy安装完后,还会继续出现一个叫wheel的问题

    这时候就要去百度搜索 python whl  

    找到https://www.lfd.uci.edu/~gohlke/pythonlibs/这个链接的网址

    ctrl+F 输入twisted

    点击进去会出现

     选中属于自己环境的版本就可以下载了

    我下载完就放进python的script文件目录里面

    再用cmd重复前面的

    pip install Twisted就可以了

    安装完重新打开cmd

    在Scripts处打开scrapy,因为用pip安装的文件都会在Scripts里面。

    用scrapy bench检查scrapy是否真正安装完成。

    如果可以就可以输入命令:scrapy startproject XXX

    开始scrapy的爬虫之旅吧!

  • 相关阅读:
    赛孚耐(SafeNet)加密狗 C#调用代码
    转 RMAN-20033
    MyBatis <foreach>
    MySQL InnoDB锁问题
    MySQL MyISAM表锁
    MySQL锁概述
    MySQL 优化表数据类型
    MySQL 优化分页思路
    MySQL EXPLAIN
    MySQL 开启慢查询日志
  • 原文地址:https://www.cnblogs.com/sucanji/p/10931709.html
Copyright © 2020-2023  润新知