Storm集群部署
所有集群部署的基本流程都差不多:下载安装包并上传、解压安装包并配置环境变量、修改配置文件、分发安装包、启动集群、查看集群是否部署成功。
1、所有的集群上都要配置hosts
vi /etc/hosts
192.168.33.201 storm1 hadoop1 zk1
192.168.33.202 storm2 hadoop2 zk2
192.168.33.203 storm3 hadoop3 zk3
2、集群部署的基础环境准备
安装前,zookeeper集群已经部署完毕!!!
创建工作目录并赋权(三台机器都要创建)
mkdir /export
mkdir /export/servers
chmod 755 -R /export
3、下载安装包并上传
从官网下载http://storm.apache.org/。 下载好了将安装包上传(alt+P)。
4、解压安装包并配置环境变量
tar -zxvf apache-storm-1.0.3.tar.gz -C /export/servers
cd /export/servers/
ln -s apache-storm-1.0.3 storm
---ln -s 源文件 目标文件:创建软连接
---当我们需要在不用的目录,用到相同的文件时,我们不需要再每一个需要的目录下都放一个必须相同的文件。我们只要在某个固定的目录,放上该文件,
然后在其他的目录下用ln 命令链接它就可以了。不必重复占用磁盘空间!
配置环境变量:
export STORM_HOME=/export/servers/apache-storm-1.0.3
export PATH=.:$STORM_HOME/bin:$...
配置完source /etc/profile
将profile文件拷贝到其他两台机器上
scp /etc/profile storm2:/etc/
scp /etc/profile storm3:/etc/
拷贝完成后都要刷新环境变量source /etc/profile
5、修改配置文件
vi /export/servers/storm/conf/storm.yaml
输入一下内容:
6、分发安装包
scp -r /export/servers/apache-storm-1.0.3 storm2:/export/servers
scp -r /export/servers/apache-storm-1.0.3 storm3:/export/servers
然后分别在storm2、storm3上创建软连接
cd /export/servers/
ln -s apache-storm-1.0.3 storm
7、启动集群(要先启动zookeeper集群!!!)
(1)在nimbus.host所属的机器上storm1启动nimbus服务:
cd /export/servers/storm/bin/
nohup ./storm nimbus &
---nohup命令:不挂断地运行命令。原程序的标准输出被自动改向到当前目录下的nohup.out文件,起到了log的作用。nohup ./storm nimbus & 后台启动 storm nimbus 前台启动
(2)在nimbus.host所属的机器上storm1启动ui服务:
cd /export/servers/storm/bin/
nohup ./storm ui &
(3)在其他各节点上storm2和storm3启动supervisor服务:
cd /export/servers/storm/bin/
nohup ./storm supervisor &
8、查看集群是否部署成功
访问http://storm1:8080/,即可看到storm的ui界面。