Storm分布式集群搭建

一、storm版本

       选用storm0.9.6

       

二、本地模式

       用于对storm业务逻辑的调试和测试，可以直接在本地运行。

三、分布式模式

       生产环境，需要对应的zookeeper、nimbus、supervisor和storm UI

四、主节点Nimbus。

       nimbus作为storm的核心，肩负着对topology的调度和分配，接受storm客户端的命令以及storm UI的请求等任务。

       master节点上部署nimbus

         下载地址：http://storm.apache.org/2015/11/05/storm096-released.html

         

     

     master 节点上  上传 解压

    

    配置nimbus

     

      找到zookeeper存在的目录   创建storm

 

 注意：

 下面的配置可以更加方面 不用去目录下运行了

使其生效

 

 启动nimbus

 

五、工作节点Supervisor

      Supervisor监听Nimbus的任务分配，启动worker来对相应的任务进行处理。通时Supervisor会对本地的worker进程进行监控，如果发现状态不正常会重启worker。如果任务多次失败，则将该任务交还给Nimbus进行再次重新分配。

      

   将master节点的包发送至其他节点：scp apache-storm-0.9.6.tar.gz slave1:/home/hadoop/app

                                                             scp apache-storm-0.9.6.tar.gz slave2:/home/hadoop/app

        

    

    解压：[hadoop@slave1 app]$ tar -zxvf apache-storm-0.9.6.tar.gz 

              [hadoop@slave2 app]$ tar -zxvf apache-storm-0.9.6.tar.gz 

    将master节点的配置文件拷贝到slave1  slave2

    

   后台启动

   

 

 查看进程

六、storm UI

      web服务器，在指定端口提供网页服务。可以获取系统配置、作业和各个组件的运行状态；可以暂停和撤销作业。

      在nimbus节点（master）上部署storm UI

    在nimbus节点启动strom UI

    

     查看进程

     

    

     页面访问

     192.168.80.11:8080

      

报错

记得启动zookeeper

七、storm配置项

       https://github.com/apache/storm/blob/master/conf/defaults.yaml