• 1.26学习总结:DStream无状态转换操作


    一、学习视频

    https://www.bilibili.com/video/BV1oE411s7h7?p=61

    二、无状态转换操作

    2.1  map(func):经过func函数操作后,转换成一个新的DStream

    2.2  flatmap(func):经过func函数操作后,可以被映射为0个或多个输出项

    2.3  filter(func):经过func函数操作后,只过滤出符合函数的DStream

    2.4  repartition(num):通过创建更多或者更少的分区来改变DStream的并行度

    2.5 reduce(func):利用函数func聚集源DStream每个RDD的元素,返回一个包含新的单元素的RDDs的DStream

    2.6 reduceByKey(func,[numTask]):根据func将key聚集起来,返回一个新的键值对DStream

    2.7 join(otherStream,[numTask]):将两个有相同key的DStream进行连接操作,key不变,value为一个列表

    2.8 cogroup(otherStream,[numTask]):将两个拥有相同key的DStream返回一个元组,元组内容(key,Seq[v],Seq[w])

    2.9 transform(func):将DStream中的每一个RDD进行转换,转化后的RDD组合成一个新的DStream

  • 相关阅读:
    Code first常用命令
    vue问题集锦
    net WebConfig读写
    CefSharp使用心得
    工作问题
    工作总结
    HttpContext.Current.Session为null
    Java基础00-接口组成更新31
    Java基础00-Lamda表达式30
    Java基础00-网络编程29
  • 原文地址:https://www.cnblogs.com/wangzhaojun1670/p/14391826.html
Copyright © 2020-2023  润新知