065 updateStateByKey的函数API

一：使用场景

1.应用场景

　　数据的累加

　　一段时间内的数据的累加

2.说明

　　每个批次都输出自己批次的数据，

　　这个时候，可以使用这个API，使得他们之间产生联系。

3.说明2

　　在累加器的时候，起到的效果和这里的说明想法有些相同，都可以输出上一个批次的信息

二：程序

1.需要启动一些服务

　　需要使用hadoop

　　

2.程序

package com.stream.it

import kafka.serializer.StringDecoder
import org.apache.spark.rdd.RDD
import org.apache.spark.storage.StorageLevel
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{HashPartitioner, SparkConf, SparkContext}

object UpdateStateByKeyKafkaWordcount {
  def main(args: Array[String]): Unit = {
    val conf=new SparkConf()
        .setAppName("spark-streaming-wordcount")
          .setMaster("local[*]")
    val sc=SparkContext.getOrCreate(conf)
    val ssc=new StreamingContext(sc,Seconds(15))

    val kafkaParams=Map("group.id"->"stream-sparking-0",
          "zookeeper.connect"->"linux-hadoop01.ibeifeng.com:2181/kafka",
          "auto.offset.reset"->"smallest"
    )
    val topics=Map("beifeng"->1)
    val dStream=KafkaUtils.createStream[String,String,StringDecoder,StringDecoder](
      ssc,             //给定sparkStreaming的上下文
      kafkaParams,     //kafka的参数信息，通过kafka HightLevelComsumerApi连接
      topics,          //给定读取对应的topic的名称以及读取数据的线程数量
      StorageLevel.MEMORY_AND_DISK_2     //数据接收器接收到kafka的数据后的保存级别
    ).map(_._2)


    // 当调用updateStateByKey函数API的时候，必须给定checkpoint dir
    // 路径对应的文件夹不能存在
    ssc.checkpoint("hdfs://linux-hadoop01.ibeifeng.com:8020/beifeng/spark/streaming/chkdir01")

    /**
      def updateStateByKey[S: ClassTag](
        updateFunc: (Seq[V], Option[S]) => Option[S],
        partitioner: Partitioner,
        initialRDD: RDD[(K, S)]
      ): DStream[(K, S)]
      */

    val resultWordcount=dStream
      .filter(line=>line.nonEmpty)
        .flatMap(line=>line.split(" ").map((_,1)))
        .reduceByKey(_+_)
        .updateStateByKey(
          (values: Seq[Int], state: Option[Long]) => {
            // 从value中获取累加值
            val sum = values.sum

            // 获取以前的累加值
            val oldStateSum = state.getOrElse(0L)

            // 更新状态值并返回
            Some(oldStateSum + sum)
          }
      )


    resultWordcount.foreachRDD(rdd=>{
      rdd.foreachPartition(iter=>iter.foreach(println))
    })

    //启动
    ssc.start()
    //等到
    ssc.awaitTermination()
  }
}

  

三：updateStateByKey的优化

1.说明

　　主要的情况是，程序停止，刚刚累加的数据不再存在。

　　重启后效果如下：

　　　　只剩下，已经被checkPoint的数据，后面的数据不再存在。

　　　　

2.优化的程序

　　多加两个参数。

package com.stream.it

import kafka.serializer.StringDecoder
import org.apache.spark.rdd.RDD
import org.apache.spark.storage.StorageLevel
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{HashPartitioner, SparkConf, SparkContext}

object UpdateStateByKeyKafkaWordcount {
  def main(args: Array[String]): Unit = {
    val conf=new SparkConf()
        .setAppName("spark-streaming-wordcount")
          .setMaster("local[*]")
    val sc=SparkContext.getOrCreate(conf)
    val ssc=new StreamingContext(sc,Seconds(15))

    val kafkaParams=Map("group.id"->"stream-sparking-0",
          "zookeeper.connect"->"linux-hadoop01.ibeifeng.com:2181/kafka",
          "auto.offset.reset"->"largest"
    )
    val topics=Map("beifeng"->1)
    val dStream=KafkaUtils.createStream[String,String,StringDecoder,StringDecoder](
      ssc,             //给定sparkStreaming的上下文
      kafkaParams,     //kafka的参数信息，通过kafka HightLevelComsumerApi连接
      topics,          //给定读取对应的topic的名称以及读取数据的线程数量
      StorageLevel.MEMORY_AND_DISK_2     //数据接收器接收到kafka的数据后的保存级别
    ).map(_._2)


    // 当调用updateStateByKey函数API的时候，必须给定checkpoint dir
    // 路径对应的文件夹不能存在
    ssc.checkpoint("hdfs://linux-hadoop01.ibeifeng.com:8020/beifeng/spark/streaming/chkdir01")

    // 初始化updateStateByKey用到的状态值
    // 从保存状态值的地方(HBase)读取状态值， 这里采用模拟的方式
    val initialRDD: RDD[(String, Long)] = sc.parallelize(
      Array(
        ("hadoop", 100L),
        ("spark", 25L)
      )
    )

    /**
      def updateStateByKey[S: ClassTag](
        updateFunc: (Seq[V], Option[S]) => Option[S],
        partitioner: Partitioner,
        initialRDD: RDD[(K, S)]
      ): DStream[(K, S)]
      */

    val resultWordcount=dStream
      .filter(line=>line.nonEmpty)
        .flatMap(line=>line.split(" ").map((_,1)))
        .reduceByKey(_+_)
        .updateStateByKey(
          (values: Seq[Int], state: Option[Long]) => {
            // 从value中获取累加值
            val sum = values.sum

            // 获取以前的累加值
            val oldStateSum = state.getOrElse(0L)

            // 更新状态值并返回
            Some(oldStateSum + sum)
          },
          new HashPartitioner(ssc.sparkContext.defaultParallelism), // 分区器
          initialRDD // 初始化状态值
      )


    resultWordcount.foreachRDD(rdd=>{
      rdd.foreachPartition(iter=>iter.foreach(println))
    })

    //启动
    ssc.start()
    //等到
    ssc.awaitTermination()
  }
}

3.运行效果

　　

4.注意点

　　需要有checkPoint的路径。

　　累加值存在硬盘中，长时间不访问会被删除。