• storm安装部署


    Storm是一个实时处理框架,安装也比Hadoop还有OOZIE简单,如下:

    之前在Storm初探中介绍Storm节点时间的控制管理是通过Zookeeper来管理的,所以需要先安装Zookeeper集群

    1、下载Zookeeper,zookeeper-3.4.6.tar.gz并解压,并将conf/zoo_sample.cfg重命名为zoo.cfg并修改如下:

    tickTime=2000
    dataDir=/var/zookeeper/
    clientPort=2181
    initLimit=5
    syncLimit=2
    server.1=hadoop-kf100.jd.com:2888:3888
    server.2=hadoop-kf101.jd.com:2888:3888
    server.3=hadoop-kf102.jd.com:2888:3888

    因为我安装了3个节点hadoop-kf100.jd.com、hadoop-kf101.jd.com、hadoop-kf102.jd.com所以每个节点上都需要进行配置

    并且需要在每个节点的dataDir目录下创建myid文件,内容为zoo.cfg配置文件中设置的对应的数字编号

    2、设置完后便可启动zookeeper集群,在每个节点进入bin目录下执行:sh zkServer.sh start

    设置完后可敲入sh zkServer.sh status命令查看zookeeper集群状态

    Storm安装:

    1、下载Storm压缩文件apache-storm-0.9.3.tar.gz并解压,设置环境变量,如下:(每个节点都进行设置)

    export STORM_HOME=/export/servers/apache-storm-0.9.3

    export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$STORM_HOME/bin:$PATH

    设置完环境变量别忘了source一下使环境变量生效

    2、修改conf/storm.yaml配置文件,修改内容如下:(每个节点都进行设置)

    ########### These MUST be filled in for a storm configuration
    storm.zookeeper.servers:
    - "192.168.157.100"
    - "192.168.157.101"
    - "192.168.157.102"

    storm.local.dir: "/home/storm/workdir"

    storm.zookeeper.session.timeout: 100000

    storm.zookeeper.connection.timeout: 60000
    nimbus.host: "192.168.157.100"

    supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
    - 6704
    - 6705
    - 6706
    - 6707

    以上,已经全部配置完毕,上面已启动zookeeper集群,现在只需启动Storm集群即可:

    进入bin目录下执行:

    在nimbus节点执行bin/storm nimbus、bin/storm ui命令

    在supervisor节点执行bin/storm supervisor命令

    在每个节点执行bin/storm logviewer 启动日志功能,否则通过UI点端口查看日志时查看不了

    以上,便完成了Storm的安装,是不是很简单

  • 相关阅读:
    Vue生命周期(转)
    Gulp的简单使用
    webpack的简单使用
    面试----手写正则表达式
    面试----你可以手写一个promise吗
    baidu.com跳转www.baidu.com
    php 操作时间、日期类函数
    php操作文件类的函数
    sphinx搜索 笔记
    bash下输入命令的几个常用快捷键
  • 原文地址:https://www.cnblogs.com/zhli/p/4819788.html
Copyright © 2020-2023  润新知