自动化工具有很多。。今天总结一下salt安装hadoop 步骤,学习过程。
1,机器列表
hosts文件 只需要将namenode的两台机器上配置 ,不解释了。
2.salt-master在107.3上,salt的配置如下图。
3.启动步骤
这一步
salt -N zk cmd.run "su zookeeper -c ''source /etc/profile && cd /app/zookeeper/bin && ./zkServer.sh start'" (启动zk)
①
salt cnsz20pl2420 cmd.run "su hdfs -c 'source /etc/profile && hdfs zkfc -formatZK'"
格式化zk
②
salt -N jn cmd.run "su hdfs -c 'source /etc/profile && hadoop-daemon.sh start journalnode'"
启动journalnode
一定要查看日志看是否启动,一定哦,一切问题看日志。。。
③启动两个namenode
注意salt 主机名 cmd.run 类似下图
④启动datanode节点
⑤启动resourcemansger和zkfc(namenode间配ssh免密。否则zkfc切换不过去,就是namenode异常是无法切换的。。)
⑥,开启历史日志服务
⑦启动datanode节点上的yarn.
权限稍微改改就好了,再重启一次。,前面启动的再重启不会影响。
去网页上就可以看到这样的界面啦。
yarn界面
启动
salt -N nn cmd.run 'su - yarn -c "yarn-daemon.sh start resourcemanager"'
看日志已经起来了。接下来去页面上去看资源与HDFS存储就好了。
Hbase明天继续。后续会详细讲如何搭建起来一个生产环境完整的。。。