• 安装storm集群


    手工安装Storm集群

    注:最新的Storm已不再必须依赖ZeroMQ,各种依赖的库和软件也已经有更新的版本。

    要手工安装Storm,需要先安装以下软件

    • Zookeeper集群(安装方法详见管理向导
    • Java6.0
    • Python2.6.6
    • Unzip命令

    NOTE: Nimbus和管理进程将要依赖Java、Python和unzip命令

    安装本地库:

    安装ZeroMQ:

    1 wget http://download.zeromq.org/historic/zeromq-2.1.7.tar.gz
    2 tar -xzf zeromq-2.1.7.tar.gz
    3 cd zeromq-2.1.7
    4 ./configure
    5 make
    6 sudo make install 
    安装JZMQ:
    1 git clone https://github.com/nathanmarz/jzmq.git
    2 cd jzmq
    3 ./autogen.sh
    4 ./configure
    5 make
    6 sudo make install

    本地库安装完了,下载最新的Storm稳定版(写作本书时是Storm0.7.1。译者注:翻译本章时已是v0.9.1,可从http://storm.incubator.apache.org/https://github.com/apache/incubator-storm/releases下载),并解压缩。
    编辑配置文件,增加Storm集群配置(可以从Storm仓库的defaults.yaml看到所有的默认配置)。
    编辑Storm目录下的conf/storm.yaml,添加以下参数,增加集群配置:

    storm.zookeeper.servers:
    – "zookeeper addres 1"
    – "zookeeper addres 2"
    – "zookeeper addres N"
    storm.local.dir: "a local directory"
    nimbus.host: "Nimbus host addres"
    supervisor.slots.ports:
    – supervisor slot port 1
    – supervisor slot port 2
    – supervisor slot port N

    参数解释:
    storm.zookeeper.servers

    你的zookeeper服务器地址。

    storm.local.dir

    Storm进程保存内部数据的本地目录。(务必保证运行Storm进程的用户拥有这个目录的写权限。)

    nimbus.host

    Nimbus运行的机器的地址

    supervisor.slots.ports

    接收消息的工人进程监听的端口号(通常从6700开始);管理进程为这个属性指定的每个端口号运行一个工人进程。

    当你完成了这些配置,就可以运行所有的Storm进程了。如果你想运行一个本地进程测试一下,就把nimbus.host配置成localhost。启动一个Storm进程,在Storm目录下执行:./bin/storm 进程名

    NOTE:Storm提供了一个出色的叫做Storm UI的工具,用来辅助监控拓扑。
  • 相关阅读:
    学生管理
    数据类型
    Linux安装、发布Django项目
    函数式编程
    学生管理系统
    mysql数据库工具类
    python操作数据库
    链接mysql建库建表
    列表元组字典集合
    内置对象相关方法
  • 原文地址:https://www.cnblogs.com/jinniezheng/p/6375706.html
Copyright © 2020-2023  润新知