一:目标
1.目标
在yarn的8080页面可以跳转到spark的日志18080页面。
因为在运行spark之后,看对应的job的日志,这样直接连接,更合理直接。
2.总结
在后面可以看到,其实不需要启动mr-history的。
因为这个是手机mapreduce的日志的,同时,只要8088的页面,在这个页面点history朝着18080跳转即可。
二:操作步骤
1.先开启服务
yarn,hdfs,spark
2.运行程序
3.在yarn上无法观察history
4.因为没有开启服务
1. MR的job History服务启动(不需要启动)
mr-jobhistory-daemon.sh start historyserver
http://hadoop-senior01:19888/jobhistory
2. Spark的Job History服务启动
sbin/start-history-server.sh
5.结果
可以看18080端口。
但是,在yarn上的history仍然不可以跳转到spark的日志页面。
二:解决方法
1.关闭所有的服务
因为需要修改spark与hadoop的配置文件
2.修改yarn-site.xml
其中,enable已经在MR的yarn中被配置过。
只要配置一下url。
3.修改spark-defaults.conf
eventLog.dir的作用的聚合作用。
在spark-default-site.xml中的配置是展示的作用,展示的文件夹与端口号。
4.重启服务
启动yarn,然后spark的history。
5.继续运行刚才的程序
6.开始观看所有的效果(首先是18080端口)
7.继续(yarn的8088端口的history点击)
yarn的8088端口
单击后跳到这个界面(18080端口)