这次记录的scrapy-splash的安装和使用基本上是两种情况:一是win10比较新的版本+docker for windows;二是win10家庭版,win7(理论上win8也是)+docker toolbox
首先是win10比较新的版本+docker for windows:
前面基本是一键安装,因为docker for windows没有给你选择的地方
接着开启docker service,确认docker is running,就可以开始直接使用命令行操作
镜像拉取成功,接下来安装scrapy-splash:
第一次开启scrapy-splash服务的时候会比较卡,耐心等待:
根据该网址下载:http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/
记centos运行scrapy-splash的一个坑问题:centos系统安装好了docker,拉取了镜像scrapinghub/splash,运行起来,却一直得不到数据,并报如下错误:
Retrying <GET https://list.jd.com/list.html?cat=1319%2C1523%2C7054&go=0# via http://139.159.149.185:8050/render.html> (failed 2 times): TCP connection timed out: 110: Connection timed out.
最终解决方法是:在settings.py文件中将
改成
上面的url是在我的windows7上可以使用的,下面的url测试在centos系统上可以使用的,详细原因还不知道,但是确实解决了问题。=-=