• Spark高级算子aggregate所遇到的坑


    val rdd3 = sc.parallelize(List("12","23","345","4567"),2)

    rdd3.aggregate("")((x,y) => math.max(x.length, y.length).toString, (x,y) => x + y)

    两个分区先计算出字符串的最大长度,然后合成字符串

    结果可能是:”24”,也可能是:”42”,体现了并行化特点。

    val rdd4 = sc.parallelize(List("12","23","345",""),2)

    rdd4.aggregate("")((x,y) => math.min(x.length, y.length).toString, (x,y) => x + y)

    结果是:”10”,也可能是”01”,

    原因:注意有个初始值””,其长度0,然后0.toString变成字符串。值"0".toString的长度为0,"0".toString.length的长度为1 。分区可能为(“12”,“23”)和(“345”,“”);初始值为"",然后初始值和“12”,“34”比较,或者是""和“345”比较,然后和“”比较。

    math.min("".length, "12".length ) 的结果是:0 , math.min("0".length, "23".length ) 的结果是1

    math.min("".length, "345".length) 的结果是:0 , math.min("0".length, "".length)  的结果是:0  

    val rdd5 = sc.parallelize(List("12","23","","345"),2)

    rdd5.aggregate("")((x,y) => math.min(x.length, y.length).toString, (x,y) => x + y)

    结果是:”11”,原因如下:

    math.min("".length, "12".length ) 的结果是:0 , math.min("0".length, "23".length ) 的结果是:1  

    math.min("".length, "".length) 的结果是:0 , math.min("0".length, "345".length) 的结果是:1  

    注意:值"0".toString的长度为0,"0".toString.length的长度为1

  • 相关阅读:
    Java并发(5)- ReentrantLock与AQS
    Java并发(4)- synchronized与CAS
    Windows cmd 查看文件MD5 SHA1 SHA256
    进程、线程、协程概念理解
    Python学习--Python运算符
    Python学习--Python变量类型
    MySQL性能优化
    Docket学习--Docker入门
    Python学习--Python基础语法
    Python学习--Python 环境搭建
  • 原文地址:https://www.cnblogs.com/hgc-bky/p/12854784.html
Copyright © 2020-2023  润新知