• Storm1.0.3集群部署


    Storm集群部署

    所有集群部署的基本流程都差不多:下载安装包并上传、解压安装包并配置环境变量、修改配置文件、分发安装包、启动集群、查看集群是否部署成功。

    1、所有的集群上都要配置hosts

    vi  /etc/hosts

    192.168.33.201  storm1  hadoop1  zk1

    192.168.33.202  storm2  hadoop2  zk2

    192.168.33.203  storm3  hadoop3  zk3

    2、集群部署的基础环境准备

    安装前,zookeeper集群已经部署完毕!!!

    创建工作目录并赋权(三台机器都要创建)

    mkdir /export

    mkdir /export/servers

    chmod 755 -R /export

    3、下载安装包并上传

    从官网下载http://storm.apache.org/。  下载好了将安装包上传(alt+P)。

    4、解压安装包并配置环境变量

    tar -zxvf apache-storm-1.0.3.tar.gz -C /export/servers

    cd  /export/servers/

    ln -s apache-storm-1.0.3 storm  

         ---ln -s 源文件 目标文件:创建软连接

         ---当我们需要在不用的目录,用到相同的文件时,我们不需要再每一个需要的目录下都放一个必须相同的文件。我们只要在某个固定的目录,放上该文件,

          然后在其他的目录下用ln 命令链接它就可以了。不必重复占用磁盘空间!

    配置环境变量:

    export STORM_HOME=/export/servers/apache-storm-1.0.3

    export PATH=.:$STORM_HOME/bin:$...

    配置完source  /etc/profile

    将profile文件拷贝到其他两台机器上

    scp  /etc/profile  storm2:/etc/

    scp  /etc/profile  storm3:/etc/

    拷贝完成后都要刷新环境变量source  /etc/profile

    5、修改配置文件

    vi  /export/servers/storm/conf/storm.yaml

    输入一下内容:

      

    6、分发安装包

    scp -r /export/servers/apache-storm-1.0.3 storm2:/export/servers

    scp -r /export/servers/apache-storm-1.0.3 storm3:/export/servers

    然后分别在storm2、storm3上创建软连接

    cd /export/servers/

    ln -s apache-storm-1.0.3 storm

    7、启动集群(要先启动zookeeper集群!!!

    (1)在nimbus.host所属的机器上storm1启动nimbus服务:

    cd  /export/servers/storm/bin/

    nohup  ./storm  nimbus  &

        ---nohup命令:不挂断地运行命令。原程序的标准输出被自动改向到当前目录下的nohup.out文件,起到了log的作用。nohup  ./storm nimbus   & 后台启动   storm nimbus 前台启动

    (2)在nimbus.host所属的机器上storm1启动ui服务:

    cd  /export/servers/storm/bin/

    nohup  ./storm  ui  &

    (3)在其他各节点上storm2和storm3启动supervisor服务:

    cd  /export/servers/storm/bin/

    nohup  ./storm  supervisor  &

    8、查看集群是否部署成功

    访问http://storm1:8080/,即可看到stormui界面。

     

  • 相关阅读:
    使用vagrant一键部署本地php开发环境(一)
    产品化机器学习的一些思考
    突破、进化,腾讯云数据库2018全年盘点
    WebGL 纹理颜色原理
    如何定制Linux外围文件系统?
    一文了解腾讯云数据库SaaS服务
    如何正确的选择云数据库?
    Node.js 进程平滑离场剖析
    Git合并不同url的项目
    mariadb 内存占用优化
  • 原文地址:https://www.cnblogs.com/ahu-lichang/p/6861916.html
Copyright © 2020-2023  润新知