sparkEnv概述
sparkEnv是spark的执行环境，其中包括众多与Executor执行相关的对象。在local模式下Driver会创建Executor,local-cluster部署模式或者Standalone部署模式下worker另起的CoarseGrainedExecutorBackend进程中也会创建Executor，所以SparkEnv存在于Driver或者CoarseGrainedExecutorBackend进程中。
创建分析
创建方法源码：
_conf.set("spark.executor.id", SparkContext.DRIVER_IDENTIFIER)：请注意这个，其实在spark眼里没有driver的概念，都是Executor，只是id标签标记为了driver而已。
根据源码来看，其实在sparkContext初始化的时候，创建的是DriverEnv环境：457行
conf：sparkConf，spark的环境配置。
isLocal：模式判断。
listenerBus:事件监听总线。
SparkContext.numDriverCores(master)：Driver的核数。
跳进方法体：代码很长，自行看吧，不全贴图了，根据开发者提示，dirver和executor都是调用的这个创建方法。
具体构造步骤如下：
创建安全管理器：securityManager。
actorSystem创建。
创建Netty分布式消息系统。这个地方默认应该是netty了：val rpcEnvName = conf.get("spark.rpc", "netty")
调用getRpcEnvFactory(conf).create(config)创建rpcEnv
根据代码来看，默认使用的是netty方式的，对应的实例生成类是：org.apache.spark.rpc.netty.NettyRpcEnvFactory中的create方法：
是driver就启动，这个地方启动的netty方式启动的，用于接受Executor的汇报信息。
Serializer和closureSerializer都是使用Class.forName反射生成的org.apache.spark.serializer.JavaSerializer类的实例。其中closureSerializer实例用来对Scala中的闭包进行序列化。
最后都是调用startServiceOnPort启动监听端口，只不过存在driver的这个节点在启动的时候多一个是用netty启动的，多了一个判断处理而已，但是这个节点仍然被认为是Executor。
dirver的netty方式处理：
executor的处理：
两个处理方式不一样，dirver的是netty的方式，而executor是采用akka的actor方式的。最终都是这个方法启动完成创建：
mapOutputTracker创建：
用于跟踪map阶段任务的输出状态，此状态便于reduce阶段任务获取地址及中间输出结果。MapOutputTrackerMaster内部使用mapStatus：TimeStampedHashMap[Int,Array[MapStatus]]来维护跟踪各个map任务的输出状态。其中key对应shuffleId，Array存储各个map任务对应的状态信息MapStatus。
根据代码可以看出，有是根据是否为driver存在不同的创建方式：
如果当前应用程序为Driver，则创建MapOutputTrackerMaster，然后创建MapOutputTrackerMasterEndpoint，并且注册到RpcEndpoint系统中。
如果当前应用程序为Executor，则创建MapOutputTrackerWorker，并从RpcEndpoint持有MapOutputTrackerMasterEndpint的应用。
实例化shuffleManager：
ShuffleManager负责管理本地及远程的block数据的shuffle操作。默认的SortShuffleManager通过持有的IndexShuffleBlockManger间接操作BlockManager中的DiskBlockManger将map结果写入本地，并根据shuffleId，mapId写入索引文件，也能通过MapOutputTrackerMaster中维护的mapStatuses从本地或者其他远程节点读取文件。
块传输服务blockTransferService：
BlockTransferService默认为NettyBlockTransferService，使用Netty提供的异步事件驱动的网络应用框架，提供web服务及客户端，获取远程节点上Block的集合。
BlockManagerMaster介绍：
BlockManagerMaster负责对Block的管理和协调，具体操作依赖于BlockManagerMasterEndpoint。Driver和Executor处理的BlockManagerMaster的方式不同：
·如果当前应用程序为Driver，则创建BlockManagerMasterEndpoint，并且注册到RpcEndpoint中。
·如果当前应用程序为Executor， 则从RpcEndpoint中找到BlockManagerMasterEndpoint。
无论是Driver还是Executor，最后BlockManagerMaster的属性driverEndpoint将持有对BlockManagerMasterEndpoint的引用（RpcEndpointRef）。
创建块管理器BlockManager：
BlockManager负责对Block的管理，只有在BlockManager的初始化方法initialize被调用后，它才是有效地。
创建广播管理器BroadcastManager：
BroadcastManager用户将配置信息和序列化后的RDD、Job以及ShuffleDependency等信息在本地存储。如果为了容灾，也会复制到其他节点上。
BroadcastManager必须在其初始化方法initialize被调用后，才能生效。
创建缓存管理器CacheManager：
CacheManager用户缓存RDD某个分区计算后的中间结果，缓存计算结果发生在迭代计算的时候。
创建测量系统MetricsSystem：
MetricsSystem是Spark的测量系统。