02_Storm集群部署

1. 部署前的硬件及软件检查

硬件要求

1）storm集群部署包括zookeeper部署，而zookeeper集群最小为3台机器
2）storm的计算过程都在内存中完成，因此内存要尽量大
3）storm少部分数据在本地（topology提交会有本地目录，storm.local.dir/nimbus/inbox目录下），使用系统盘即可，不需要额外添加磁盘

软件要求
storm通过java编写，因此依赖于Java，同时还在少数情况下需要使用python(一般linux自带）
要提前保证java和python软件在待部署机器或虚拟机上的安装

集群部署注意事项
1）storm版本选择
* 不能太老（功能，性能）
* 该版本的参考资料必须足够多
* 最好不使用最新的版本（稳定性验证不够）

2. Storm集群部署

zookeeper的部署，请参考本博客的zookeeper系列，这里不在赘述

Storm集群部署 

1)上传安装包到待部署节点，解压并得到安装目录

以我的为例，安装包上传到3个待部署节点的/usr/local/src/目录，解压后得到storm安装目录，同时修改安装目录名为storm-0.9.3

[/usr/local/src]chmod 755 apache-storm-0.9.3.tar.gz
[/usr/local/src]tar -xzvf apache-storm-0.9.3.tar.gz
[/usr/local/src]mv apache-storm-0.9.3 storm-0.9.3

2) 修改storm配置文件storm.yaml

任选1个节点，进入storm安装目录下的conf目录，找到配置文件storm.yaml

[/usr/local/src]cd storm-0.9.3/conf
[/usr/local/src]vim storm.yaml 

将配置文件中的一些注释符号#删除，配置如下信息

*storm.zookeeper.servers, zookeeper服务器地址，通过hostname配置

*nimbus.host,  nimbus部署在哪一台机器上，通过hostname配置

*storm.local.dir,  storm存储临时文件及nimbus上存放上传的任务jar包的目录，storm启动会自动创建该目录

*supervisor.slots.ports,  supervisor节点能够运行的worker进程数，每个进程占用1个port

 

将该节点的配置文件保存，通过SCP分发到其他节点

[conf]scp –rp storm.yaml root@slave1:/usr/local/src/storm-0.9.3/conf/
[conf]scp –rp storm.yaml root@slave2:/usr/local/src/storm-0.9.3/conf/

3) Storm环境变量配置

复制storm安装目录路径，在/etc/profile尾部增加如下内容（所有集群节点都要配置环境变量）

# STORM HOME and PATH modify
export STORM_HOME=/usr/local/src/storm-0.9.3
export PATH=$PATH:$STORM_HOME/bin

在所有集群节点上，使配置文件生效

# source /etc/profile

4) 启动nimbus及storm ui(网页形式的UI页面）

在storm-0.9.3/bin/目录下创建start.sh启动脚本（和supervisor的启动脚本不同），并填入如下内容

 

 storm logviewer >dev/null 2>&1 &    //ui页面上显示可滚动的log日志

给脚本增加执行权限,   并执行

# chomd 755 start.sh
# ./start.sh

5) 启动supervisor节点

在storm-0.9.3/bin/目录下创建start.sh启动脚本（和supervisor的启动脚本不同），并填入如下内容

 

 storm logviewer >dev/null 2>&1 &    //ui页面上显示可滚动的log日志

给脚本增加执行权限,   并执行

# chomd 755 start.sh
# ./start.sh

6)  查看各个节点上的storm进程

 Nimbus节点

core为storm ui进程

 

Supervisor节点

 

7)  查看storm UI监控页面，部署完成

http://主节点ip:8080/