RDD:
Resilient Distributed Dataset(弹性分布式数据集)
弹性:数据集的可恢复型
原因:在分布式环境下,运算节点很容易出问题,会造成数据的丢失,rdd可以在数据丢失的背景下恢复数据。
数据恢复的技术:1.基本备份
2.基于日志(hadoop namenode中的namespace在磁盘上对应的是fsimage+editslog,当namenode重启的时候,从磁盘上读取fsimage和最新的editlog
Mysql数据库:基于binLog恢复。
Rdd:基于血缘(linkage)的恢复机制。记录了rdd转换的过程,在rdd丢失时,可以通过记录的过程(血缘)再次生成。
Rdd1==map====rdd2===reduce==rdd3
分布式:rdd可以分布在多个机器上,对外是透明的。
数据集:rdd 本质上就是一个list。对应于scala中集合的操作同样适用于rdd。默认的:当使用sparkconext读取文本文件的时候,一行文本作为rdd中的一个元素。
血缘恢复机制:保存的是计算过程,节省空间;但是恢复的时候需要执行计算过程来恢复数据,时间变长。总之就是以时间换空间