• 1.26学习总结:DStream无状态转换操作


    一、学习视频

    https://www.bilibili.com/video/BV1oE411s7h7?p=61

    二、无状态转换操作

    2.1  map(func):经过func函数操作后,转换成一个新的DStream

    2.2  flatmap(func):经过func函数操作后,可以被映射为0个或多个输出项

    2.3  filter(func):经过func函数操作后,只过滤出符合函数的DStream

    2.4  repartition(num):通过创建更多或者更少的分区来改变DStream的并行度

    2.5 reduce(func):利用函数func聚集源DStream每个RDD的元素,返回一个包含新的单元素的RDDs的DStream

    2.6 reduceByKey(func,[numTask]):根据func将key聚集起来,返回一个新的键值对DStream

    2.7 join(otherStream,[numTask]):将两个有相同key的DStream进行连接操作,key不变,value为一个列表

    2.8 cogroup(otherStream,[numTask]):将两个拥有相同key的DStream返回一个元组,元组内容(key,Seq[v],Seq[w])

    2.9 transform(func):将DStream中的每一个RDD进行转换,转化后的RDD组合成一个新的DStream

  • 相关阅读:
    判断当天是周几
    九九乘法表
    js创建table表格
    tab切换-自动、点击、内容变换
    必须关注的25位知名JavaScript开发者
    静态路由
    dubbo
    SOA、SOAP、RPC
    【转】spring之任务调度
    Redis-cli命令最新总结【转】
  • 原文地址:https://www.cnblogs.com/wangzhaojun1670/p/14391826.html
Copyright © 2020-2023  润新知