1. 安装服务器:
pip install scrapyd
启动: scrapyd
访问:127.0.0.1:6800
2. 安装客户端
pip install scrapyd-client
3. 进入爬虫项目根目录:找到
scrapy.cfg 文件 修改如下
[settings] default = blog.settings [deploy:zwb] url = http://localhost:6800/ project = blog
4. 发布项目
scrapyd-deploy target -p prject
这里target 为你的服务器命令,prject是你项目的名字,发布项目之前我们的scrapyd.cfg必须修改,上面我们已经修改过了,
因此我的命令是:scrapyd-deploy zwb -p blog
scrapyd-deploy <target> -p <project> --version <version>
4.2 启动爬虫
curl http://localhost:6800/schedule.json -d project=blog -d spider=demo
4.3 停止爬虫
curl http://localhost:6800/cancel.json -d project=blog -d job=demo
blog:你爬虫项目的名字,demo:你爬虫的名字