• 利用salt搭建hadoop集群


    自动化工具有很多。。今天总结一下salt安装hadoop 步骤,学习过程。

    1,机器列表

    hosts文件    只需要将namenode的两台机器上配置 ,不解释了。

    2.salt-master在107.3上,salt的配置如下图。

    3.启动步骤

    这一步  

    salt -N zk cmd.run "su zookeeper -c ''source /etc/profile && cd /app/zookeeper/bin && ./zkServer.sh start'"   (启动zk)

    salt cnsz20pl2420 cmd.run "su hdfs -c 'source /etc/profile && hdfs zkfc -formatZK'"

    格式化zk

    salt -N jn cmd.run "su hdfs -c 'source /etc/profile && hadoop-daemon.sh start journalnode'"

    启动journalnode

    一定要查看日志看是否启动,一定哦,一切问题看日志。。。

    ③启动两个namenode

    注意salt 主机名   cmd.run   类似下图

    ④启动datanode节点

     ⑤启动resourcemansger和zkfc(namenode间配ssh免密。否则zkfc切换不过去,就是namenode异常是无法切换的。。)

     ⑥,开启历史日志服务

    ⑦启动datanode节点上的yarn.

    权限稍微改改就好了,再重启一次。,前面启动的再重启不会影响。

     

    去网页上就可以看到这样的界面啦。

    yarn界面

    启动

    salt -N nn cmd.run 'su - yarn -c "yarn-daemon.sh start resourcemanager"'

    看日志已经起来了。接下来去页面上去看资源与HDFS存储就好了。

    Hbase明天继续。后续会详细讲如何搭建起来一个生产环境完整的。。。

  • 相关阅读:
    java创建节点和单向链表
    Java循环链表实现约瑟夫环(搬运)
    java语言建立顺序表
    顺序表删除重复值的高效算法。
    2016.1.29
    IO流学习笔记
    oracle 计算两个时间之间的月份差,相差几个星期,相差多少天
    java中如何计算两个时间段的月份差
    怎样在数据库中插入大量数据
    oracle 定义数据完整性
  • 原文地址:https://www.cnblogs.com/hit-zb/p/8424189.html
Copyright © 2020-2023  润新知