• Spark分区


    一、如果某一个新的RDD产生的分区数,是从父RDD继承过来的。分区是RDD中的一部分数据(如果只有一个分区的话,那么就是全部)

    二、怎么知道某一个 RDD有多少个分区?

    makeRdd.getNumPartitions

    三、如何设置RDD的分区?

    1、在sparkConf当中设置setMaster中的值,可以改变RDD中的分区数
    local 表示采用一个分区
    local[2] 表示采用2个分区数
    local[*] 以当前电脑的CPU核数来决定
    注意:在创建RDD的时候设定的分区级别大于在setMaster设置的分区值
    2、在创建RDD的时候,直接指定RDD的分区数
    例如:val unit = sc.makeRDD(1.to(10),9) 9表示创建RDD时给的分区数
    3、通过repartition修改某个RDD的值
    val unit2 = sc.makeRDD(1.to(10)).repartition(3)
    4、自定义分区【spark自定义分区】

    注意:

    注:在使用某一个文件夹或很多小文件时,会采用:如果最开始没有指定任何分区:
    如果是从文件夹中读出的话,那么会将一个文件作为一个分区
    如果从HDFS中读出的话,那么会将一个块作为一个分区
    如果某一个RDD产生的分区值的数据太少,那么在子RDD中,可以将分区数减少
    分区数会被spark对应成Task任务,也就是分区数越多,那么处理的速度会变

  • 相关阅读:
    序言vue.js介绍
    python中end=''
    python文件的操作
    python异常
    python异常(理论知识)
    Uva 11300 Spreading the Wealth 中位数
    反转(开关问题) poj3276
    NEKO's Maze Game 思维
    Aaronson 一道思维题
    我开博客了
  • 原文地址:https://www.cnblogs.com/yfb918/p/10669294.html
Copyright © 2020-2023  润新知