Gerapy
基于Scrapy，Scrapyd，Scrapyd-Client，Scrapyd-API，Django和Vue.js的分布式爬虫管理框架。
支持
Gerapy是在Python 3.x上开发的。稍后将支持Python 2.x.
用法
通过pip安装Gerapy：
pip3 install gerapy
安装完成后，您需要执行以下操作以运行Gerapy服务器：
如果已成功安装Gerapy，则可以使用命令gerapy。如果没有，请检查安装。
首先使用此命令初始化工作区：
gerapy init
现在您将获得一个名为的文件夹gerapy。
然后cd到此文件夹，并运行此命令以初始化数据库：
cd gerapy
gerapy migrate
接下来，您可以通过此命令运行server：
gerapy runserver
然后你可以访问http：// localhost：8000来享受它。
或者您可以像这样配置主机和端口：
gerapy runserver 0.0.0.0:8888
然后它将与公共主机和端口8888一起运行。
您可以创建一个可配置项目，然后自动配置和生成代码。您还可以将Scrapy项目拖动到gerapy/projects文件夹。然后刷新Web，它将出现在项目索引页面中并且不可配置，但您可以在Web界面中编辑此项目。
对于部署，您可以转到“部署页面”。首先，您需要构建项目并在客户端索引页面中添加客户端，然后您可以通过单击按钮来部署项目。
部署后，您可以在Monitor Page中管理作业。
搬运工人
只需运行此命令：
docker run -d -v ~/gerapy:/app/gerapy -p 8000:8000 thsheep/gerapy:master
然后它将在端口8000运行。
命令：
docker run -d -v <your_workspace>:/app/gerapy -p <public_port>:<container_port> thsheep/gerapy:master
请指定您的工作区以安装Gerapy工作区-v <your_workspace>:/app/gerapy并指定服务器端口-p <public_port>:<container_port>。
如果您通过Docker运行Gerapy，您可以访问Gerapy网站，例如http：// localhost：8000并享受它，无需进行其他初始化操作。
预习
客户管理：
蜘蛛监视器：
项目管理：
项目编辑：
项目部署：
项目配置：
TodoList的
- 使用预览网站添加Spider的可视配置
- 添加Scrapyd Auth Management
- 添加自动Python和Scrapyd环境部署
- 添加MongoDB和Redis和MySQL监视器
- 添加定时任务计划程序