Spark性能调优

一、分配资源

最大调节分配资源：

常用的资源调度模式有Spark Standalone和Spark On Yarn。比如说你的每台机器能够给你使用60G内存，10个cpu core，20台机器。那么executor的数量是20。平均每个executor所能分配60G内存和10个cpu core。

1.增加executor数量：提升了并行度

2.增加每个executor的CPU Core：提高了并行度

3.增加每个executor的内存量：

对于RDD的cache，减少了磁盘IO

对于shuffle操作的reduce端：减少了磁盘IO

对于task的执行，可能会创建很多对象，内存小的话会频繁导致JVM堆内存满了，就会频繁的进行GC。

二、executor、task、cpu Core数量关系调优

1.并行度

task数量，至少设置与Spark Application的总CPU Core 数量相同。官方推荐，task数量，设置成spark application总CPU core数量的2-3倍。

假如集群有50个executor，每个executor10个G内存，每个executor有3个CPU core。150个CPU Core最多并行执行150个task

三、RDD架构重构以及RDD持久化

1、RDD架构重构

复用RDD，抽取共同的RDD

2、公共RDD的持久化

将RDD的数据缓存到内存中/磁盘中（BlockManager

3、持久化的序列化

减少内存开销

4、内存充足，双副本持久化

四、广播变量

一台节点有一个或者多个Executor,一个Executor有多个Task(task数量由Executor里的Cpu Core数量一对一决定)

广播变量:

将固定的,只读的数据变量提前广播给各个Executor,该Executor上的各个Task再从所在节点的BlockManager获取广播变量,如果本地的Executor没有就从Driver远程拉取变量副本,并保存到本地的BlockManager中.解决了每次将固定的,只读的数据用Driver广播到各个Task上的繁重且效率低下的问题.

使用方法:

1.调用SparkContext.broadcast创建一个Broadcast[T]对象.任何序列化的类型都可以这么实现

2.通过 .value 获取对象的值

3.变量只会被发送到各个节点一次,应该作为只读值处理(修改这个值不会影响到别的节点)

五、使用Kryo序列化

默认Spark内部的序列化机制:

Java的ObjectOutputStream/ObjectInputStream:

优点: 使用方便,实现Serializable接口即可

缺点: 效率低,序列化速度慢,序列化后的数据相对大

Spark支持使用Kryo序列化机制:

比Java速度快

序列化后的数据小 Java的十分之一大小

所以网络传输的数据变少,在集群中耗费的内存资源大大减少

使用Kryo后影响的几个地方

1.优化网络传输的性能,优化集群中内存占用和消耗

2.持久化RDD,优化内存的占用和消耗.持久化RDD的内存占用的内存越小,task执行的时候创建的对象,就不至于频繁的占满内存,频繁发生GC

3.shuffle 优化网络传输的性能

Kryo的使用:

Spark中Scala语法的Kryo使用:

//创建一个集合存储输入输出,字典文件,停用词库

val Array(inputPath,outputPath,dicPath,stopwords,date) = args

val conf = new SparkConf()

.setAppName(s"${this.getClass.getName}").setMaster("local[*]")

//使用Kryo序列胡

.set("spark.serializer","org.apache.spark.serializer.KryoSerializer")

val sc = new SparkContext(conf)

val sQLContext = new SQLContext(sc)

//在spark 1.6 版本时候默认的压缩方式还是snappy,到2.0之后才默认snappy

sQLContext.setConf("spark.sql.parquet.compression.codec","snappy")

六、使用fastutil优化数据格式

Fastutil:(最新版本要求Java7及以上版本)

概念:

是扩展了Java标准的集合框架(Map,List,Set,HashMap,ArrayList,HashSet)的类库,提供了特殊类型的map,set,list和queue

优势:

代替JDK的原生的集合框架,占内存小,存取速度快

提供了64位的array,set,list的集合列表,实用的IO类,来处理二进制和文本类型的文件

每种集合类型都实现了对应的java中的标准接口

支持双向迭代器

支持引用类型 但是对引用类型是使用等于号（=）进行比较的，而不是equals()方法

应用:

1.算子函数使用了外部变量:

使用fastutil改写外部变量，首先从源头上就减少内存的占用，通过广播变量进一步减少内存占用，再通过Kryo序列化类库进一步减少内存占用

2.在task任务执行的计算逻辑里(算子函数),如果逻辑中有要创建较大的Map,List集合,可以使用fastutil类库重写,减少了task创建出来的集合类型的内存占用,避免executor内存频繁占满,频繁唤起GC,导致性能下降.

fastutil调优的说明:

广播变量、Kryo序列化类库、fastutil，都是之前所说的，对于性能来说，类似于一种调味品，烤鸡，本来就很好吃了，然后加了一点特质的孜然麻辣粉调料，就更加好吃了一点。分配资源、并行度、RDD架构与持久化，这三个就是烤鸡。broadcast、kryo、fastutil，类似于调料。

比如:经过一些调优之后30分钟的任务,经过broadcast,kryo,fastutil调优可能是29,28或者25,经过shuffle调优15分,groupbykey用reducebykey改写,执行本地聚合也许就只有10分钟,利用资源更大的YARN队列,1分钟.

fastutil使用:

在pom.xml中引用fastutil的包

<dependency>

    <groupId>fastutil</groupId>

    <artifactId>fastutil</artifactId>

    <version>5.0.9</version>

</dependency>

List<Integer> 相当于 IntList

基本都是类似于IntList的格式，前缀就是集合的元素类型。特殊的就是Map，Int2IntMap，代表了key-value映射的元素类型。除此之外，还支持object、reference。

七、调节数据本地化等待时长

task的locality的五种方式:

PROCESS_LOCAL:进程本地化

NODE_LOCAL:节点本地化

NO_PREF:对于task来说,数据从哪里获取都一样,没有优势之分

RACK_LOCAL:机架本地化

ANY:数据和task可能在集群中的任何地方,而且不再一个机架中,性能最差.

Spark的任务调度:

Spark在Driver上,对Application的每一个stage的task进行分配之前都会计算出每个task要计算的是哪个分片数据.

首先会优先将task正好分配到他要计算的数据所在的节点,这样就避免了网络传输数据.

但是可能会遇到那个节点的计算资源和计算能力都满了.这种时候,Spark默认等待3秒(不是绝对,还有很多种情况,对于不同的本地化级别,都会去等待),到最后实在等不下去,就会选择一个差的本地化级别.

对于第二种差的情况,肯定会发生数据传输,task会通过其所在的节点的blockManager来获取数据,BlockManager发现自己本地没有数据,会通过一个getRemote()方法,通过TransferService(网络传输组件)从数据所在节点的BlockManager中,获取数据.

适当的调节本地化等待时长:

观察Spark作业的运行日志,看数据本地化级别的信息,如果大多是PROCESS_LOCALL,就不用调节,若大多是NODE_LOCAL,ANY就需要调节,反复的看日志,以及作业运行时间,不要一味地提升本地化级别造成了本末倒置.

调节方式:

spark.locality.wait，默认是3s。6s，10s

默认情况下，下面3个的等待时长，都是跟上面那个是一样的，都是3s

spark.locality.wait.process

spark.locality.wait.node

spark.locality.wait.rack

new SparkConf().set("spark.locality.wait", "10")