• scrapyd+gerapy的项目部署


    scrapyd+gerapy的项目部署:

    简单学习,后续跟进完善

    声明:

       1)仅作为个人学习,如有冒犯,告知速删!
       2)不想误导,如有错误,不吝指教!

    环境配置:

    scrapyd下载:

      pip install scrapyd -i https://pypi.com/simple

    scrapyd部署:

      scrapyd-deploy -p 项目名

    注意:需要切换到项目的根目录下运行

     

    scrapyd遇到的问题:

    1. 'scrapyd-deploy' 不是内部或外部命令,也不是可运行的程序,

    2. 解决方法:

      1. 找到scrapyd-deploy文件(Scripts文件夹下),这里每个人配置的pip安装路径不同 ;

      2. 然后在这个文件夹内创建两个文件,scrapy.bat 和 scrapyd-deploy.bat (新建 txt 文本文档,然后更改后缀名为 .bat)

      3. 编辑scrapyd-deloy.bat:

         @echo off
         #python.exe路径 scrapyd-deploy路径
         C:UsersAdministratorAppDataLocalProgramsPythonPython37python.exe    C:UsersAdministratorAppDataLocalProgramsPythonPython37Scriptsscrapyd-deploy %*
         
      4. scrapy.bat编辑:

         @echo off
         #python.exe路径 scrapyd路径
         C:UsersAdministratorAppDataLocalProgramsPythonPython37python.exe C:UsersAdministratorAppDataLocalProgramsPythonPython37Scriptsscrapyd %*

        注意:上面路径没有分行,两个路径之间有空格!

      5. 保存,新起cmd,运行scrapyd-deploy -h,出现以下信息即成功:

         1  Usage: scrapyd-deploy [options] [ [target] | -l | -L <target> ]
         2  3  Deploy Scrapy project to Scrapyd server
         4  5  Options:
         6    -h, --help            show this help message and exit
         7    -p PROJECT, --project=PROJECT
         8                          the project name in the target
         9    -v VERSION, --version=VERSION
        10                          the version to deploy. Defaults to current timestamp
        11    -l, --list-targets    list available targets
        12    -a, --deploy-all-targets
        13                          deploy all targets
        14    -d, --debug           debug mode (do not remove build dir)
        15    -L TARGET, --list-projects=TARGET
        16                          list available projects on TARGET
        17    --egg=FILE            use the given egg, instead of building it
        18    --build-egg=FILE      only build the egg, don't deploy it
    3. 运行部署命令后报错:

      1  C:UsersAdministratorPycharmProjectscodexbhog>scrapyd-deploy -p xbhog
      2  Packing version 1595062659
      3  Deploying to project "xbhog" in http://localhost:6800/addversion.json
      4  Deploy failed: <urlopen error [WinError 10061] 由于目标计算机积极拒绝,无法连接。>
      5  C:UsersAdministratorAppDataLocalProgramsPythonPython37python.exe: can't open file 'C:UsersAdministratorAppDataLocalProgramsPythonPython37Scriptsscrapyd': [Errno 2] No such file or directory
    4. 解决方法:

      1. 先在一个cmd窗口执行scrapyd

      2. 然后再用另一个cmd窗口部署项目

     

    gerapy安装以及使用:

      pip install gerapy -i https://pypi.com/simple
    使用:
    • 1.在本地创建空文件夹

    • 2.进入文件夹,建立项目(gerapy init)

    • 3.进入生成的gerapy文件中

    • 4.对数据库进行初始化(gerapy migrate)

    • 5.创建超级管理员(gerapy initadmin)---账号密码:admin

    • 6.运行:gerapy runserver

     

    scrapyd+gerapy搭配使用的效果图:

    scrapyd-1

     scrapyd-2

  • 相关阅读:
    微访谈之1:解答各位朋友关心的问题
    深入浅出SQL Server中的死锁(实战篇)
    怎样玩转千万级别的数据
    Another MySQL daemon already running with the same unix socket
    c++ undefined reference to mysqlinit
    Another MySQL daemon already running with the same unix socket
    linxu 挂载分区
    C# RSA
    谷歌地图实现车辆轨迹移动播放(google map api)
    百度地图实现车辆轨迹移动播放(baidu map api)
  • 原文地址:https://www.cnblogs.com/xbhog/p/13336651.html
Copyright © 2020-2023  润新知