什么是RDD
视频教程：
1、优酷
2、YouTube
RDD是个抽象类，全称为Resilient Distributed Datasets，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。同时，RDD还提供了一组丰富的操作来操作这些数据，诸如map、flatMap、filter等转换操作，除此之外，RDD还提供了诸如join、groupBy、reduceByKey等更为方便的操作，以支持常见的数据运算。但实际上继承RDD的派生类一般只要实现两个方法：
1、getPartitions()用来告知怎么将input分片；
2、compute()用来输出每个Partition被函数处理的一个单元）；
RDD的特点：
1、它是在集群节点上的不可变的、已分区的集合对象。
2、通过并行转换的方式来创建如（map, filter, join, etc）。
3、失败自动重建。
4、可以控制存储级别（内存、磁盘等）来进行重用。
5、必须是可序列化的。
6、是静态类型的。
RDD的好处
1、RDD只能从持久存储或通过Transformation操作产生，相比于分布式共享内存（DSM）可以更高效实现容错，对于丢失部分数据分区只需根据它的lineage就可重新计算出来，而不需要做特定的Checkpoint。( RDD实现了基于Lineage的容错机制。RDD的转换关系，构成了compute chain，可以把这个compute chain认为是RDD之间演化的Lineage。在部分计算结果丢失时，只需要根据这个Lineage重算即可。)
2、RDD的不变性，可以实现类似Hadoop MapReduce的推测式执行。
3、RDD的数据分区特性，可以通过数据的本地性来提高性能，这与Hadoop MapReduce是一样的。
4、RDD都是可序列化的，在内存不足时可自动降级为磁盘存储，把RDD存储于磁盘上，这时性能会有大的下降但不会差于现在的MapReduce。
RDD的存储与分区
1、用户可以选择不同的存储级别存储RDD以便重用。
2、当前RDD默认是存储于内存，但当内存不足时，RDD会spill到disk。
3、RDD在需要进行分区把数据分布于集群中时会根据每条记录Key进行分区（如Hash 分区），以此保证两个数据集在Join时能高效。
RDD的内部表示
在RDD的内部实现中每个RDD都可以使用5个方面的特性来表示：
1、分区列表（数据块列表）
2、计算每个分片的函数（根据父RDD计算出此RDD）
3、对父RDD的依赖列表
4、对key-value RDD的Partitioner(可选)
5、每个数据分片的预定义地址列表(如HDFS上的数据块的地址)(可选)
RDD的创建方式：
1、从Hadoop文件系统（或与Hadoop兼容的其它存储系统）输入（例如HDFS）创建。
2、从父RDD转换得到新RDD。
3、通过parallelize将单机数据创建为分布式RDD。