• Scrapy(爬虫应用框架)安装配置


    运行平台:Windows 
    Python版本:Python3.x 

    一、Scarpy 简介

    Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,可以应用于数据挖掘,信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。

        学习Scrapy,它能我们更好的完成爬虫任务,自己写Python爬虫程序好比孤军奋战,而使用了Scrapy就好比手底下有了千军万马。Scrapy可以起到事半功倍(甚至好几倍*.*)的效果。所以,学习Scrapy也就显得很有必要了。
    二、Scrapy安装

    1、直接在dos中使用命令‘pip3 install scrapy’,可能会报多种错误,例如图示,就是本人在安装过程中碰到的错误

    2、解决方法

    查阅了很多网上的资料,是因为直接安装scrapy时,好多库在windows上并没有安装,所以只能一步步安装第三方库了,还好python有很多编译好的第三方库:http://www.lfd.uci.edu/~gohlke/pythonlibs/

    安装scrapy需要的第三方库Lxml、Twisted、Scrapy

    (1)首先在cmd中输入python,查看自己电脑对应的python版本

    图上可以看到我自己电脑上安装的是python3.6.0

    (2)登录第三方库地址下载对应python版本的Lxml、Twisted、Scrapy文件

    Scrapy-1.5.1-py2.py3-none-any.whl

    Twisted-18.9.0-cp36-cp36m-win32.whl

    lxml-4.2.5-cp36-cp36m-win32.whl

    (3)在cmd中输入命令,进入到下载好的whl文件中,安装文件,例如我将三个文件放在‘G:Scrapy32’中

    (4)依次执行下列命令

    a、pip3 install wheel

    b、pip3 install lxml-4.2.5-cp36-cp36m-win32.whl

    c、pip3 install Twisted-18.9.0-cp36-cp36m-win32.whl

    d、pip3 install Scrapy-1.5.1-py2.py3-none-any.whl

    这样Scrapy的安装就完成了

    (5)Srapy已经安装成功,还要下载pywin32,找到对应版本下载,一路下一步安装即可。安装完成后,就可以正常使用Scrapy了。

     pywin32下载地址:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

      至此,大功告成,我们可以愉快的使用Scrapy了。

     注意:在cmd中输入Scrapy可以查看是否安装完成,很好高兴,我一次安装成功了,如果有warning,查看是那个库没有装,然后使用pip3 install XX(库名)安装即可

  • 相关阅读:
    Codeforces Round #313 (Div. 2) D. Equivalent Strings 解题心得
    UVA
    2015 HUAS Summer Contest#1~A
    2015 HUAS Summer Training#2~D
    2015 HUAS Summer Training#2~C
    2015 HUAS Summer Training#2~E
    2015 HUAS Summer Training#2~A
    2015 HUAS Provincial Select Contest #1
    2015 HUAS Provincial Select Contest #1~F
    2015 HUAS Provincial Select Contest #2~A
  • 原文地址:https://www.cnblogs.com/pinpin/p/9873750.html
Copyright © 2020-2023  润新知