Spark概念介绍:
spark应用程序在集群中以一系列独立的线程运行,通过驱动器程序(Driver Program)发起一系列的并行操作。SparkContext对象作为中间的连接对象,通过SparkContext对象连接集群。SparkContext对象可以连接集群管理器(YARN,Mesos.standalone等)
目前Spark集群支持以下集群管理模式:
(1)本地模式
(2)Mesos模式: 一种通用的集群管理模式,可以运行Hadoop Mapreduce和应用服务
(3)YARN模式:Hadoop2.0的资源管理模式
Spark的Http Server的启动过程:
在SparkContext初始化的过程中创建SparkUI(包含一个bind函数)
bind函数中的startJettyServer函数通过Connect启动JettyServer
Spark WebUI的页面数据获取:
当SparkUI进行初始化操作时,会添加监听(Listener)
SparkListener(利用观察者模式),如果监听到Stage和task相关的事件发生,Listener就会收到通知,则对数据进行更新,页面的数据需要手动进行刷新