5.RDD的持久化
5.1 概述
Spark一个很重要的能力就是支持对RDD的持久化(或者说缓存),并且在多个操作可以访问这些持久化数据,从从而无需再重新计算.
对于RDD的持久化,Spark还有个很重要的能力就是容错的: 如果RDD的某个分区丢失了,它会自动的根据它的源RDD重新计算
5.2 存储级别
persist(),可以自由选择持久化的存储级别,将RDD持久化硬盘,内存(必须是Java可序列化类型),副本到多个节点.
cache(),相当于persist的快捷方式,使用默认存储级别(StorageLevel.MEMORY_ONLY)持久化数据.
具体的持久化级别如下:
| 日志级别 | 描述 |
| MEMORY_ONLY | 默认级别.将RDD作为一个可序列化的Java对象保存到JVM的内存中(如果内存空间不够,部分分区将不会持久化,只能在需要时再重新计算) |
| MEMORY_AND_DISK | 将RDD作为一个可序列化的Java对象保存到JVM的内存中(如果内存空间不够,部分分区将持久化到磁盘,需要时直接读取) |
| MEMORY_ONLY_SER (Java and Scala) | 将RDD序列化为一个Java对象(每个分区一个byte数组),这样可以更加节省空间(特别是fast serializer),但读取时会增加更多的CPU负担 |
| MEMORY_AND_DISK_SER(Java and Scala) | 同MEMORY_ONLY_SER,但内存空间不足时,会溢写到磁盘 |
| DISK_ONLY | 全部存储到磁盘 |
| MEMORY_ONLY_2,MEMORY_AND_DISK_2,等等 | 存储与前面相同,但每个存储会存储为两份数据(副本) |
| OFF_HEAP (实验版本) |
注意.在Python中,会始终使用Pickle进行序列化,不关心你选择使用哪种序列化方式
在Python中,存储级别也只支持 MEMORY_ONLY, MEMORY_ONLY_2, MEMORY_AND_DISK, MEMORY_AND_DISK_2, DISK_ONLY, and DISK_ONLY_2
另外,在shuffle操作中,Spark会自动的对中间结果进行缓存(哪怕你没有使用persist),但仍然建议如果你需要反复使用某个RDD时,手动的缓存它.
5.3 存储级别的选择
选择哪种存储级别,实际是在内存耗用和CPU耗用之间做一个效率的权衡.Spark有如下的建议:
如果MEMORY_ONLY是有效的(没有内存不够导致的溢出),那就选择MEMORY_ONLY.这是对CPU耗用最小的做法,也是运行计算最快的做法
否则就尝试使用MEMORY_ONLY_SER并挑选一个快速序列化库.这将会占用更小的内存控件,并且依然计算非常迅速的
除非重计算RDD代价非常高,或者是需要过滤大量的数据的情况下,才会考虑溢写到磁盘.因为重新计算这个RDD的耗用可能会与从磁盘上读取这个RDD耗用差不多
如果想要快速恢复出现异常的RDD,建议使用副本机制
5.4 删除持久化
Spark会自动的监控各持久化的对象的使用情况,并依据最近最少使用原则( least-recently-used (LRU))将持久化数据删除.
也可以RDD.unpersist()手动删除一个RDD的持久化数据.