简单学习,后续跟进完善
1)仅作为个人学习,如有冒犯,告知速删!
2)不想误导,如有错误,不吝指教!
环境配置:
scrapyd下载:
pip install scrapyd -i https://pypi.com/simple
scrapyd部署:
scrapyd-deploy -p 项目名
注意:需要切换到项目的根目录下运行
scrapyd遇到的问题:
-
'scrapyd-deploy' 不是内部或外部命令,也不是可运行的程序,
-
-
找到scrapyd-deploy文件(Scripts文件夹下),这里每个人配置的pip安装路径不同 ;
-
然后在这个文件夹内创建两个文件,scrapy.bat 和 scrapyd-deploy.bat (新建 txt 文本文档,然后更改后缀名为 .bat)
-
编辑scrapyd-deloy.bat:
-
scrapy.bat编辑:
注意:上面路径没有分行,两个路径之间有空格!
-
保存,新起cmd,运行scrapyd-deploy -h,出现以下信息即成功:
1 Usage: scrapyd-deploy [options] [ [target] | -l | -L <target> ] 2 3 Deploy Scrapy project to Scrapyd server 4 5 Options: 6 -h, --help show this help message and exit 7 -p PROJECT, --project=PROJECT 8 the project name in the target 9 -v VERSION, --version=VERSION 10 the version to deploy. Defaults to current timestamp 11 -l, --list-targets list available targets 12 -a, --deploy-all-targets 13 deploy all targets 14 -d, --debug debug mode (do not remove build dir) 15 -L TARGET, --list-projects=TARGET 16 list available projects on TARGET 17 --egg=FILE use the given egg, instead of building it 18 --build-egg=FILE only build the egg, don't deploy it
-
-
运行部署命令后报错:
1 C:UsersAdministratorPycharmProjectscodexbhog>scrapyd-deploy -p xbhog 2 Packing version 1595062659 3 Deploying to project "xbhog" in http://localhost:6800/addversion.json 4 Deploy failed: <urlopen error [WinError 10061] 由于目标计算机积极拒绝,无法连接。> 5 C:UsersAdministratorAppDataLocalProgramsPythonPython37python.exe: can't open file 'C:UsersAdministratorAppDataLocalProgramsPythonPython37Scriptsscrapyd': [Errno 2] No such file or directory
-
解决方法:
-
先在一个cmd窗口执行scrapyd
-
然后再用另一个cmd窗口部署项目
-
gerapy安装以及使用:
pip install gerapy -i https://pypi.com/simple
使用:
-
1.在本地创建空文件夹
-
2.进入文件夹,建立项目(gerapy init)
-
3.进入生成的gerapy文件中
-
4.对数据库进行初始化(gerapy migrate)
-
5.创建超级管理员(gerapy initadmin)---账号密码:admin
-
6.运行:gerapy runserver
scrapyd+gerapy搭配使用的效果图: