• 018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面


    一:目标

    1.目标

      在yarn的8080页面可以跳转到spark的日志18080页面。

      因为在运行spark之后,看对应的job的日志,这样直接连接,更合理直接。

    2.总结

      在后面可以看到,其实不需要启动mr-history的。

      因为这个是手机mapreduce的日志的,同时,只要8088的页面,在这个页面点history朝着18080跳转即可。

    二:操作步骤

    1.先开启服务

      yarn,hdfs,spark

      

    2.运行程序

      

    3.在yarn上无法观察history

      

    4.因为没有开启服务 

      1. MR的job History服务启动(不需要启动)
        mr-jobhistory-daemon.sh start historyserver
        http://hadoop-senior01:19888/jobhistory
      2. Spark的Job History服务启动
        sbin/start-history-server.sh

    5.结果

      可以看18080端口。

      

      但是,在yarn上的history仍然不可以跳转到spark的日志页面。

    二:解决方法

    1.关闭所有的服务

      因为需要修改spark与hadoop的配置文件

      

    2.修改yarn-site.xml

      其中,enable已经在MR的yarn中被配置过。

      只要配置一下url。

      

    3.修改spark-defaults.conf

      eventLog.dir的作用的聚合作用。

      在spark-default-site.xml中的配置是展示的作用,展示的文件夹与端口号。

      

    4.重启服务

      启动yarn,然后spark的history。

      

     

    5.继续运行刚才的程序

      

    6.开始观看所有的效果(首先是18080端口)

      

    7.继续(yarn的8088端口的history点击)

      yarn的8088端口

      

      单击后跳到这个界面(18080端口)

      

      

  • 相关阅读:
    Windows Live Writer Testing
    基于本地文件系统的LocalDB
    【笔记】动画显示窗体
    winform无边框窗口拖动
    关于js的内存机制
    flex-basis
    Cookie、session和localStorage、以及sessionStorage之间的区别
    关于报文
    关于http与https Tcp的三次握手四次握手
    关于前后端分离与不分离
  • 原文地址:https://www.cnblogs.com/juncaoit/p/6393998.html
Copyright © 2020-2023  润新知