• storm集群配置


    1. 安装zookeeper集群

    http://www.cnblogs.com/stevenczp/p/4924420.html

    2. 在master上下载storm

    官方的release版本下载链接:http://storm.apache.org/downloads.html

    一开始我犯了个愚蠢的错误,把源码下载然后安装了,于是不停的报错“the storm client can only be run from within a release”之类的

    我解压到了/home/storm/storm目录下

    3.然后修改/conf/storm.yaml文件

     加入zookeeper配置文件,storm的local文件夹地址,nimbus和supervisor的简单配置

     storm.zookeeper.servers:
          - "master"
          - "slave1"
          - "slave2"
          - "slave3"
     storm.zookeeper.port: 2181
     nimbus.host: "master"
    
     storm.local.dir: "/home/storm/storm/storm/data"
    
     supervisor.slots.ports:
         - 6700
         - 6701
         - 6702
         - 6703
    

      这一步尤其需要小心

          首先所有的配置需要开头空一格,只能用空格,用tab符报错

          其次如果在搭建zookeeper的时候修改了端口,那么这里也需要添加zookeeper的端口说明,否则无法工作

          如果后续无法正常运行,就看log,然后修改对应的问题

    4. 用scp将配置好的storm复制到各个slave下

    5. 在master上启动nimbus,ui,在slave上启动supervisor

    master:/bin/storm nimbus
    master:/bin/storm ui
    
    slave1:/bin/storm supervisor
    slave2:/bin/storm supervisor
    slave3:/bin/storm supervisor

    6.浏览器里打开master:8080

    如果长时间loading,并且log里有connecting to nimbus之类的字样,那可能就是zookeeper的port不是默认端口但是又没有配置引起的

    一切正常的话,就能直接看到集群的状态了

    补充

    看以前的帖子,老版的storm应该要配置zeromq什么的

    但是,至少我使用的0.9.5版本,是不需要配置这些的

    依赖项只有,java,zookeeper,python

  • 相关阅读:
    【老三层总结】老三层 页面 传值
    【总结-前台发送后台接收表单】MVC提交表单的四种方式
    Django使用Channels实现WebSocket数据推送功能
    关于子网、子网划分的一些内容
    关于摄像头推流拉流的一些内容
    群晖 docker frp公网访问
    Gitea搭建(搭建私有github仓库)
    frp内网穿透搭建流程,UDP通讯测试
    Centos7基础内容-命令
    Django 使用forms进行POST字段校验(文件上传校验)
  • 原文地址:https://www.cnblogs.com/stevenczp/p/4925674.html
Copyright © 2020-2023  润新知