• 5.1 RDD编程


    一、RDD编程基础

    1.创建

    spark采用textFile()方法来从文件系统中加载数据创建RDD,该方法把文件的URL作为参数,这个URL可以是:

    1. 本地文件系统的地址
    2. 分布式文件系统HDFS的地址
    3. 从云端加载数据,比如亚马逊的云端存储S3

    (1)从本地文件系统中加载数据创建RDD

    (2)从分布式文件系统HDFS中加载数据

    上面三条等价的前提是当前登录linux系统的用户名必须是Hadoop用户,这样当执行括号里给的文本文件名称word.txt时,系统默认去当前登录Ubuntu系统的用户在HDFS当中对应的用户主目录中寻找

    /user/hadoop是hdfs中的用户主目录

    (3)通过并行集合(数组)创建RDD

    可以调用SparkContext对象的Parallelize方法,在Driver中一个已经存在的集合(数组)上创建。

      a.通过数组创建RDD

     

      b.通过列表创建RDD

    2.基本操作

    (1)转换操作

    1. 对于RDD而言,每一次转换操作都会产生不同的RDD,供给下一个“转换”使用
    2. 转换得到的RDD是惰性求值的,也就是说,整个转换过程只是记录了转换的轨迹,并不会发生真正的计算,只有遇到行动操作时,才会发生真正的计算,开始从血缘关系源头开始,进行物理的转换操作

    RDD常用转换操作:

      a.filter(func)

      b.map(func)操作

      c.flatMap(func)操作

      d.groupByKey(func)操作

    groupByKey()应用于(K,V)键值对的数据集时,返回一个新的(K, Iterable)形式的数据集

      e.reduceByKey(func)操作

    reduceByKey(func)应用于(K,V)键值对的数据集时,返回一个新的(K, V)形式的数据集,其中的每个值是将每个key传递到函数func中进行聚合后得到的结果

    reduceByKey和groupByKey的区别:reduceByKey不仅会进行一个分组,还会把value list再根据传入的函数再做操作

    (2)行动操作

      a.count()

    返回数据集中的元素个数。

      b.collect()

    把在不同电脑上生成结果都收集回来,可以在发起程序的终端上显示出来。

      c.first()

    返回数据集中的第一个元素

      d.take(n)

    返回数据集中的前n个元素,并且以数组的形式

      e.reduce(func)

    func是一个高阶函数

      f.foreach(func):遍历

    (3)惰性机制

    惰性机制:整个转换过程只是记录了转换的轨迹,并不会发生真正的计算,只有遇到行动操作时,才会触发“从头到尾”的真正的计算。

    3.持久化

    在Spark中,RDD采用惰性求值的机制,每次遇到行动操作,都会从头开始执行计算。每次调用行动操作,都会触发一次从头开始的计算。这对于迭代计算而言,代价是很大的,迭代计算经常需要多次重复使用同一组数据

    rdd.count()第一次动作类型,得到的结果先把它存起来,这样下面再去执行rdd.collect()又遇到第二次动作类型操作的时候,就不用再从头到尾去算了,只需要用刚才存起来的值就可以了。但是如果计算结果不需要重复用的话,就不要随便去用持久化,会很耗内存。

    job的由来:每次遇到一个动作类型操作,都会生成一个job。

    持久化的方式:

    1. 可以通过持久化(缓存)机制避免这种重复计算的开销
    2. 可以使用persist()方法对一个RDD标记为持久化
    3. 之所以说“标记为持久化”,是因为出现persist()语句的地方,并不会马上计算生成RDD并把它持久化,而是要等到遇到第一个行动操作触发真正计算以后,才会把计算结果进行持久化
    4. 持久化后的RDD将会被保留在计算节点的内存中被后面的行动操作重复使用

    1. persist()的圆括号中包含的是持久化级别参数:
    2. persist(MEMORY_ONLY):标记为持久化,并不会真正缓存rdd,将RDD作为反序列化的对象存储于JVM中,如果内存不足,就要按照LRU原则替换缓存中的内容 ,RDD.cache()等价于RDD.persist(MEMORY_ONLY)
    3. persist(MEMORY_AND_DISK)表示将RDD作为反序列化的对象存储在JVM中,如果内存不足,超出的分区将会被存放在硬盘上
    4. 一般而言,使用cache()方法时,会调用persist(MEMORY_ONLY) 
    5. 可以使用unpersist()方法手动地把持久化的RDD从缓存中移除

    针对上面的实例,增加持久化语句以后的执行过程如下:

    4.分区

    RDD是弹性分布式数据集,通常RDD很大,会被分成很多个分区,分别保存在不同的节点上

    (1)分区的作用

      a.增加并行度

    图 RDD分区被保存到不同节点上

      b.减少通信开销

      u1,u2,...是放在不同机器上的,右边也是放在不同机器上的,会在网络上大量机器之间来回传输。

    图:未分区时对UserData和Events两个表进行连接操作

    图:采用分区以后对UserData和Events两个表进行连接操作 

    userData表:u1存储1到10号,u2存储11到20号,...

    events表:挑出1到10号的扔给u1,11到20的扔给u2,...

    (2)分区原则

    RDD分区的一个原则是使得分区的个数尽量等于集群中的CPU核心(core)数目,对于不同的Spark部署模式而言(本地模式、Standalone模式、YARN模式、Mesos模式),都可以通过设置spark.default.parallelism这个参数的值,来配置默认的分区数目,一般而言:

    1. *本地模式:默认为本地机器的CPU数目,若设置了local[N],则默认为N
    2. *Apache Mesos:默认的分区数为8
    3. *Standalone或YARN:在“集群中所有CPU核心数目总和”和“2”二者中取较大值作为默认值

    分区个数=集群中CPU核心数目

    如果分区个数和CPU核数不接近,比如说有4个分区,8个CPU,那意味着4个CPU的线程是浪费掉的,因为只有4个分区,顶多可以启动4个线程。

    如果有16个分区,8个线程,那只能有8个分区去运作,剩下8个分区得等待。

    (3)设置分区的个数

      a.创建RDD时手动指定分区个数

    在调用textFile()和parallelize()方法的时候手动指定分区个数即可,语法格式如下: sc.textFile(path, partitionNum) 其中,path参数用于指定要加载的文件的地址,partitionNum参数用于指定分区个数。

    语法格式:

    sc.textFile(path,partitionNum) // partitionNum表示指定分区个数
    

      b.使用repartition方法重新设置分区个数

    (4)自定义分区方法

      Spark提供了自带的HashPartitioner(哈希分区)与RangePartitioner(区域分区),能够满足大多数应用场景的需求。与此同时,Spark也支持自定义分区方式,即通过提供一个自定义的Partitioner对象来控制RDD的分区方式,从而利用领域知识进一步减少通信开销。

      要实现自定义分区,需要定义一个类,这个自定义类需要继承org.apache.spark.Partitioner类,并实现下面三个方法:

    1. numPartitions: Int 返回创建出来的分区数
    2. getPartition(key: Any): Int 返回给定键的分区编号(0到numPartitions-1)
    3. equals():Java判断相等性的标准方法

    实例:根据key值的最后一位数字,写到不同的文件,例如:

     用单例对象定义入口函数,凡是写在单例对象中的都是静态的方法。

    map(_._n)表示任意元组tuple对象,后面的数字n表示取第几个数.(n>=1的整数)

    注意:partitioner自定义分区类只支持RDD为键值对的形式

    5.基本实例---词频统计

      假设有一个本地文件word.txt,里面包含了很多行文本,每行文本由多个单词构成,单词之间用空格分隔。可以使用如下语句进行词频统计(即统计每个单词出现的次数):

     

    在实际应用中,单词文件可能非常大,会被保存到分布式文件系统HDFS中,Spark和Hadoop会统一部署在一个集群上。spark的wordnode和hdfs的datanode部署在一起的(让数据更靠近计算) 

    先在不同的机器上分别并行执行词频统计,得到统计结果后,再到spark master节点上进行汇总,最终得到总的结果。

  • 相关阅读:
    vue五十:Vue美团项目之商家详情-查看商品详情
    vue四十九:Vue美团项目之商家详情-tabbar状态切换和导航返回
    vue四十八:Vue美团项目之商家详情-左右联动之商品分类跟随商品列表滚动
    vue四十七:Vue美团项目之商家详情-左右联动之选中商品分类跳转到对应商品列表
    vue四十六:Vue美团项目之商家详情-商品滚动完成
    vue四十五:Vue美团项目之商家详情-商品分类滚动完成
    vue四十四:Vue美团项目之商家详情-导航栏和header布局
    vue四十三:Vue美团项目之首页-tabbar搭建
    vue四十二:Vue美团项目之首页-商家列表
    Ugly Number
  • 原文地址:https://www.cnblogs.com/nxf-rabbit75/p/11806413.html
Copyright © 2020-2023  润新知