• 集群的高级设定


    1 时间同步 2 历史服务器 3 日志合并

    配置 ntp服务器

    修改配置文件  vim /etc/ntp.conf

    server 127.127.1.0
    fudge 127.127.1.0 stratum 10

    restrict default ignore
    restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap    (ip是自己的)

     

    改完配置要重启ntp服务

     

    第一台机器启动ntp服务:

    第二台ntp同步时间必须关了 因为要和第一台时间同步 都起了不知道和谁同步

     

    和第一台机器同步:

     

    第三台也是一样的

     

    其他两台机器要想同步时间的话 那么第一台必须起来一个同步时间的服务

    继续配置crontab -e     每隔10秒同步一下时间注意全路径

    * * * * * /usr/sbin/ntpdate 主机名
    * * * * * sleep 10: /usr/sbin/ntpdate 主机名
    * * * * * sleep 20: /usr/sbin/ntpdate 主机名
    * * * * * sleep 30: /usr/sbin/ntpdate 主机名
    * * * * * sleep 40: /usr/sbin/ntpdate 主机名
    * * * * * sleep 50: /usr/sbin/ntpdate 主机名

    第一台改一下时间:

     

    第二台一直date最终会和第一台同步时间:

    第三台一直date最终会和第一台同步时间:

    配置历史服务器

    运行一个wc程序

    去观察 yarn的页面

    去观察你提交程序的历史信息以及分布在各个节点还需要配置日志聚合

    历史服务器 mapre-site.xml文件

     

    将文件scp: 单台:注意第三台不需要分发

    启动历史服务器: 

    mr-jobhistory-daemon.sh start historyserver

    日志聚合 yarn-site.xml

    <property>
    <name>yarn.log-aggregation-enable</name>
    <!--开启日志聚合 -->
    <value>true</value>
    </property>
    <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/hadoop/logs</value>
    </property>

     

    注意分发到另外两台节点:

    重启 yarn:stop-yarn.sh

    再重启下历史服务器

  • 相关阅读:
    尝试制作了一个Panorama
    Python小游戏之猜数字
    Java基础-多线程学习目录
    Java8学习笔记目录
    Guava学习笔记目录
    Angular4学习笔记-目录汇总
    Springboot学习笔记
    JavaWeb-Tomcat阀
    JavaWeb-Tomcat安全域
    JavaWeb-Servlet基础
  • 原文地址:https://www.cnblogs.com/sx66/p/10692483.html
Copyright © 2020-2023  润新知