• 5.1 RDD编程


    一、RDD编程基础

    1.创建

    spark采用textFile()方法来从文件系统中加载数据创建RDD,该方法把文件的URL作为参数,这个URL可以是:

    1. 本地文件系统的地址
    2. 分布式文件系统HDFS的地址
    3. 从云端加载数据,比如亚马逊的云端存储S3

    (1)从本地文件系统中加载数据创建RDD

    (2)从分布式文件系统HDFS中加载数据

    上面三条等价的前提是当前登录linux系统的用户名必须是Hadoop用户,这样当执行括号里给的文本文件名称word.txt时,系统默认去当前登录Ubuntu系统的用户在HDFS当中对应的用户主目录中寻找

    /user/hadoop是hdfs中的用户主目录

    (3)通过并行集合(数组)创建RDD

    可以调用SparkContext对象的Parallelize方法,在Driver中一个已经存在的集合(数组)上创建。

      a.通过数组创建RDD

     

      b.通过列表创建RDD

    2.基本操作

    (1)转换操作

    1. 对于RDD而言,每一次转换操作都会产生不同的RDD,供给下一个“转换”使用
    2. 转换得到的RDD是惰性求值的,也就是说,整个转换过程只是记录了转换的轨迹,并不会发生真正的计算,只有遇到行动操作时,才会发生真正的计算,开始从血缘关系源头开始,进行物理的转换操作

    RDD常用转换操作:

      a.filter(func)

      b.map(func)操作

      c.flatMap(func)操作

      d.groupByKey(func)操作

    groupByKey()应用于(K,V)键值对的数据集时,返回一个新的(K, Iterable)形式的数据集

      e.reduceByKey(func)操作

    reduceByKey(func)应用于(K,V)键值对的数据集时,返回一个新的(K, V)形式的数据集,其中的每个值是将每个key传递到函数func中进行聚合后得到的结果

    reduceByKey和groupByKey的区别:reduceByKey不仅会进行一个分组,还会把value list再根据传入的函数再做操作

    (2)行动操作

      a.count()

    返回数据集中的元素个数。

      b.collect()

    把在不同电脑上生成结果都收集回来,可以在发起程序的终端上显示出来。

      c.first()

    返回数据集中的第一个元素

      d.take(n)

    返回数据集中的前n个元素,并且以数组的形式

      e.reduce(func)

    func是一个高阶函数

      f.foreach(func):遍历

    (3)惰性机制

    惰性机制:整个转换过程只是记录了转换的轨迹,并不会发生真正的计算,只有遇到行动操作时,才会触发“从头到尾”的真正的计算。

    3.持久化

    在Spark中,RDD采用惰性求值的机制,每次遇到行动操作,都会从头开始执行计算。每次调用行动操作,都会触发一次从头开始的计算。这对于迭代计算而言,代价是很大的,迭代计算经常需要多次重复使用同一组数据

    rdd.count()第一次动作类型,得到的结果先把它存起来,这样下面再去执行rdd.collect()又遇到第二次动作类型操作的时候,就不用再从头到尾去算了,只需要用刚才存起来的值就可以了。但是如果计算结果不需要重复用的话,就不要随便去用持久化,会很耗内存。

    job的由来:每次遇到一个动作类型操作,都会生成一个job。

    持久化的方式:

    1. 可以通过持久化(缓存)机制避免这种重复计算的开销
    2. 可以使用persist()方法对一个RDD标记为持久化
    3. 之所以说“标记为持久化”,是因为出现persist()语句的地方,并不会马上计算生成RDD并把它持久化,而是要等到遇到第一个行动操作触发真正计算以后,才会把计算结果进行持久化
    4. 持久化后的RDD将会被保留在计算节点的内存中被后面的行动操作重复使用

    1. persist()的圆括号中包含的是持久化级别参数:
    2. persist(MEMORY_ONLY):标记为持久化,并不会真正缓存rdd,将RDD作为反序列化的对象存储于JVM中,如果内存不足,就要按照LRU原则替换缓存中的内容 ,RDD.cache()等价于RDD.persist(MEMORY_ONLY)
    3. persist(MEMORY_AND_DISK)表示将RDD作为反序列化的对象存储在JVM中,如果内存不足,超出的分区将会被存放在硬盘上
    4. 一般而言,使用cache()方法时,会调用persist(MEMORY_ONLY) 
    5. 可以使用unpersist()方法手动地把持久化的RDD从缓存中移除

    针对上面的实例,增加持久化语句以后的执行过程如下:

    4.分区

    RDD是弹性分布式数据集,通常RDD很大,会被分成很多个分区,分别保存在不同的节点上

    (1)分区的作用

      a.增加并行度

    图 RDD分区被保存到不同节点上

      b.减少通信开销

      u1,u2,...是放在不同机器上的,右边也是放在不同机器上的,会在网络上大量机器之间来回传输。

    图:未分区时对UserData和Events两个表进行连接操作

    图:采用分区以后对UserData和Events两个表进行连接操作 

    userData表:u1存储1到10号,u2存储11到20号,...

    events表:挑出1到10号的扔给u1,11到20的扔给u2,...

    (2)分区原则

    RDD分区的一个原则是使得分区的个数尽量等于集群中的CPU核心(core)数目,对于不同的Spark部署模式而言(本地模式、Standalone模式、YARN模式、Mesos模式),都可以通过设置spark.default.parallelism这个参数的值,来配置默认的分区数目,一般而言:

    1. *本地模式:默认为本地机器的CPU数目,若设置了local[N],则默认为N
    2. *Apache Mesos:默认的分区数为8
    3. *Standalone或YARN:在“集群中所有CPU核心数目总和”和“2”二者中取较大值作为默认值

    分区个数=集群中CPU核心数目

    如果分区个数和CPU核数不接近,比如说有4个分区,8个CPU,那意味着4个CPU的线程是浪费掉的,因为只有4个分区,顶多可以启动4个线程。

    如果有16个分区,8个线程,那只能有8个分区去运作,剩下8个分区得等待。

    (3)设置分区的个数

      a.创建RDD时手动指定分区个数

    在调用textFile()和parallelize()方法的时候手动指定分区个数即可,语法格式如下: sc.textFile(path, partitionNum) 其中,path参数用于指定要加载的文件的地址,partitionNum参数用于指定分区个数。

    语法格式:

    sc.textFile(path,partitionNum) // partitionNum表示指定分区个数
    

      b.使用repartition方法重新设置分区个数

    (4)自定义分区方法

      Spark提供了自带的HashPartitioner(哈希分区)与RangePartitioner(区域分区),能够满足大多数应用场景的需求。与此同时,Spark也支持自定义分区方式,即通过提供一个自定义的Partitioner对象来控制RDD的分区方式,从而利用领域知识进一步减少通信开销。

      要实现自定义分区,需要定义一个类,这个自定义类需要继承org.apache.spark.Partitioner类,并实现下面三个方法:

    1. numPartitions: Int 返回创建出来的分区数
    2. getPartition(key: Any): Int 返回给定键的分区编号(0到numPartitions-1)
    3. equals():Java判断相等性的标准方法

    实例:根据key值的最后一位数字,写到不同的文件,例如:

     用单例对象定义入口函数,凡是写在单例对象中的都是静态的方法。

    map(_._n)表示任意元组tuple对象,后面的数字n表示取第几个数.(n>=1的整数)

    注意:partitioner自定义分区类只支持RDD为键值对的形式

    5.基本实例---词频统计

      假设有一个本地文件word.txt,里面包含了很多行文本,每行文本由多个单词构成,单词之间用空格分隔。可以使用如下语句进行词频统计(即统计每个单词出现的次数):

     

    在实际应用中,单词文件可能非常大,会被保存到分布式文件系统HDFS中,Spark和Hadoop会统一部署在一个集群上。spark的wordnode和hdfs的datanode部署在一起的(让数据更靠近计算) 

    先在不同的机器上分别并行执行词频统计,得到统计结果后,再到spark master节点上进行汇总,最终得到总的结果。

  • 相关阅读:
    年轻人的第一个 Spring Boot 应用,太爽了!
    面试问我 Java 逃逸分析,瞬间被秒杀了。。
    Spring Boot 配置文件 bootstrap vs application 到底有什么区别?
    坑爹的 Java 可变参数,把我整得够惨。。
    6月来了,Java还是第一!
    Eclipse 最常用的 10 组快捷键,个个牛逼!
    Spring Cloud Eureka 自我保护机制实战分析
    今天是 Java 诞生日,Java 24 岁了!
    厉害了,Dubbo 正式毕业!
    Spring Boot 2.1.5 正式发布,1.5.x 即将结束使命!
  • 原文地址:https://www.cnblogs.com/nxf-rabbit75/p/11806413.html
Copyright © 2020-2023  润新知