• hadoop中的Jobhistory历史服务器


    1.  启动脚本

    mr-jobhistory-daemon.sh start historyserver

    2. 配置说明

    jobhistory用于查询每个job运行完以后的历史日志信息,是作为一台单独的服务器运行的。可以在namenode或者datanode上的任意一台启动即可。

    默认的配置如下,但是需要手工修改为我们指定的那台服务器。

    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>0.0.0.0:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>0.0.0.0:19888</value>
    </property>

    参数配置在mapred-site.xml文件中。如果将history服务器配置在namenode2中,修改如下:

    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>dwtest-name2:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>dwtest-name2:19888</value>
    </property>

    3.日志存储过程

    jobhistory server来实现web查看作业的历史运行情况,日志存储的位置是在hdfs文件系统中

    当job作业在运行中时,可以直接通过web查看作业的运行状况, 此时的记录保存在${mapreduce.intermediate-done-dir} 路径下。

    当job作业执行完成后,会将${mapreduce.intermediate-done-dir}目录下的日志文件移动到历史文件夹${mapreduce.jobhistory.done-dir}中。

    ${mapreduce.intermediate-done-dir} 和 ${mapreduce.jobhistory.done-dir} 在mapred-site.xml中配置。

    如果没有启动jobhistory进程,就无法查看历史执行的明细信息。

    当由于在启动hdfs和Yarn进程之后,jobhistoryserver进程并没有启动,需要手动启动。

    注意: jobhistory是一个单一的历史服务器,不需要在集群中启动多个服务。使用时,需要在配置文件中指定一个服务器,然后启动historyserver服务。

  • 相关阅读:
    Struts2 HelloWorld_1
    Java Web JavaMail 邮件发送
    Struts2 ActionWildcard(通配符配置)约定优于配置
    Struts2 Action
    Struts2 struts2简介
    Struts2 ActionMethod DMI(动态方法调用)
    Java Web Servlet过滤器
    com学习笔记(2)基本的com接口QueryInterface的实现
    com学习笔记(4)动态链接
    silverlight Visifire图表转图片偷天换日的做法
  • 原文地址:https://www.cnblogs.com/30go/p/8509893.html
Copyright © 2020-2023  润新知