• scrapy-splash的安装和使用


    这次记录的scrapy-splash的安装和使用基本上是两种情况:一是win10比较新的版本+docker for windows;二是win10家庭版,win7(理论上win8也是)+docker toolbox

    首先是win10比较新的版本+docker for windows:

    前面基本是一键安装,因为docker for windows没有给你选择的地方

    接着开启docker service,确认docker is running,就可以开始直接使用命令行操作

     镜像拉取成功,接下来安装scrapy-splash:

    第一次开启scrapy-splash服务的时候会比较卡,耐心等待:

    根据该网址下载:http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/

     

    记centos运行scrapy-splash的一个坑问题:centos系统安装好了docker,拉取了镜像scrapinghub/splash,运行起来,却一直得不到数据,并报如下错误:

     Retrying <GET https://list.jd.com/list.html?cat=1319%2C1523%2C7054&go=0# via http://139.159.149.185:8050/render.html> (failed 2 times): TCP connection timed out: 110: Connection timed out.
    

    最终解决方法是:在settings.py文件中将

     

    改成

    上面的url是在我的windows7上可以使用的,下面的url测试在centos系统上可以使用的,详细原因还不知道,但是确实解决了问题。=-=

  • 相关阅读:
    JeePlus:代码结构
    JeePlus:项目部署
    JeePlus:Maven 安装配置
    JeePlus:目录
    框架-Java:JeePlus
    Java-JSP:EL表达式
    Template-FreeMarker:模板开发指南
    Template-FreeMarker:什么是 FreeMarker?
    FreeMarker:
    Template-FreeMarker:目录
  • 原文地址:https://www.cnblogs.com/-hjd/p/9739205.html
Copyright © 2020-2023  润新知