• Storm 安装及搭建集群环境


    搭建storm的集群环境

    官方下载地址址:http://storm.apache.org/
    注意:本博主使用版本 Storm 1.1.3 Released

     a)     在hadoop-001主机解压apache-storm-1.1.3


    tar -zxvf apache-storm-1.1.3.tar.gz


    b)     配置环境变量

     vi  ~/.bash_profile


    export STORM_HOME=/home/hadoop/bigdatasoftware/apache-storm-1.1.3
    PATH=$PATH:$STORM_HOME/bin


    c)      编写conf/storm-env.sh文件


     export JAVA_HOME=/home/hadoop/bigdatasoftware/jdk1.8.0_161

     export STORM_CONF_DIR=/home/hadoop/bigdatasoftware/apache-storm-1.1.3/conf


    d)     分别在不同的主机hadoop-001、hadoop-002、hadoop-003,新建目录


    mkdir -p /home/hadoop/stormdata


    e)     编辑conf/storm.yaml文件


     storm.zookeeper.servers:

    - "hadoop-001"
    - "hadoop-002"
    - "hadoop-003"
    storm.local.dir: "/home/hadoop/stormdata"
    nimbus.host: "hadoop-001"
    supervisor.slots.ports:
    - 6700
    - 6701
    - 6703
    - 6704


     f) 将storm分发到不同的主机


    scp -r /home/hadoop/bigdatasoftware/apache-storm-1.1.3 hadoop@hadoop-002:/home/hadoop/ bigdatasoftware /

                  scp -r /home/hadoop/ bigdatasoftware /apache-storm-1.1.3 hadoop@hadoop-003:/home/hadoop/ bigdatasoftware /

    scp -r ~/.bash_profile  hadoop@hadoop-002:~/.bash_profile

    scp -r ~/.bash_profile  hadoop@hadoop-003:~/.bash_profile

    分发完成脚本文件,必须 source一下

    source ~/.bash_profile


     g)     启动集群的storm环境(注意必须要在bin目录下启动)


    nohup sh storm nimbus &(hadoop-master主机启动)

    nohup sh storm ui & (hadoop-master主机启动)

    nohup sh storm supervisor &(hadoop-001主机启动、hadoop-003主机启动、hadoop-002主机启动)

    nohup sh storm logviewer &(hadoop-001主机启动、hadoop-003主机启动、hadoop-002主机启动)


    h)     查看进程(输入jps)

     

    i)       打开浏览器:输入http://hadoop-001:8080/index.html(注意配置C:WindowsSystem32driversetc hosts)

     

     

  • 相关阅读:
    力拓题目 5-8-575,657,707,771
    力拓题目1-4-7,217,344,557
    解码,编码,文件的基本操作
    集合类型内置方法和拷贝浅拷贝深拷贝
    列表元祖字典内置方法
    数字类型内置方法
    字符串类型内置方法
    hdu2262 高斯消元
    hdu1757 构造矩阵
    poj1222 高斯消元
  • 原文地址:https://www.cnblogs.com/Transkai/p/10884093.html
Copyright © 2020-2023  润新知