• Scrapy框架——安装以及新建scrapy文件


    一.安装

    conda install Scrapy   :之后在按y 表示允许安装相关的依赖库(下载速度慢的话也可以借助镜像源),安装的前提是安装了anaconda作为python ,   测试scrapy是否安装成功,在窗口输入scrapy回车

    注意:我这是之前安装了anaconda  所以能直接这样下载    如果没有则需要自己一个一个下载依赖库 和scrapy   但是可以借助豆瓣的镜像源来快速安装

          格式:     pip  install   -i https://pypi.douban.com/simaple/  scrapy          

      

    二.创建scrapy项目的过程:

      1.首先进入到你所要创建项目文件的路径下。cd  ……

        2.scrapy startproject 项目(文件)名  ------这就是创建一个scrapy项目文件了

        

        3.cd (我们刚刚刚创建的)项目(文件)名。

        4.scrapy  genspider   spider的一个名称(一个.py的爬虫文件)   spider的域名(爬取的网页的网址)

        

     

             5上面我们创建了一个scrapy文件 并且在spider(scrapy项目文件下)下创建一个.py文件 ,名字是jobbole 地址blog.jobbole.com (伯乐在线的)

        我通过pycharme打开scrapy文件,如图:

           

    三.但是我们运行jobbole文件 发现出现错误。说我的scrapy框架没安装

      

    四..发现问题在哪:是pycharm的路径问题,应该放在scripts的一个路径下 如图:

      

    五.运行成功:

      

      

  • 相关阅读:
    MD53D模型
    WPF 关于变换
    WPF 关于圆角的制作
    [转载]MVVM、MVVMLight、MVVMLight Toolkit之我见
    Surface Pro 调整空间大小
    WPF 图片浏览 伪3D效果
    WPF 实现视频循环播放
    WPF MediElement 视频播放
    WPF INotifyPropertyChanged
    Matlab摄像头视频基本处理
  • 原文地址:https://www.cnblogs.com/hum0ro/p/9490673.html
Copyright © 2020-2023  润新知