• 50、Spark Streaming实时wordcount程序开发


    一、java版本

    package cn.spark.study.streaming;
    
    import java.util.Arrays;
    
    import org.apache.spark.SparkConf;
    import org.apache.spark.api.java.function.FlatMapFunction;
    import org.apache.spark.api.java.function.Function2;
    import org.apache.spark.api.java.function.PairFunction;
    import org.apache.spark.streaming.Durations;
    import org.apache.spark.streaming.api.java.JavaDStream;
    import org.apache.spark.streaming.api.java.JavaPairDStream;
    import org.apache.spark.streaming.api.java.JavaReceiverInputDStream;
    import org.apache.spark.streaming.api.java.JavaStreamingContext;
    
    import scala.Tuple2;
    
    /**
     * 实时wordcount程序
     * @author Administrator
     *
     */
    public class WordCount {
        
        public static void main(String[] args) throws Exception {
            // 创建SparkConf对象
            // 但是这里有一点不同,我们是要给它设置一个Master属性,但是我们测试的时候使用local模式
            // local后面必须跟一个方括号,里面填写一个数字,数字代表了,我们用几个线程来执行我们的
            // Spark Streaming程序
            SparkConf conf = new SparkConf()
                    .setMaster("local[2]")
                    .setAppName("WordCount");  
            
            // 创建JavaStreamingContext对象
            // 该对象,就类似于Spark Core中的JavaSparkContext,就类似于Spark SQL中的SQLContext
            // 该对象除了接收SparkConf对象对象之外
            // 还必须接收一个batch interval参数,就是说,每收集多长时间的数据,划分为一个batch,进行处理
            // 这里设置一秒
            JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(1));
        
            // 首先,创建输入DStream,代表了一个从数据源(比如kafka、socket)来的持续不断的实时数据流
            // 调用JavaStreamingContext的socketTextStream()方法,可以创建一个数据源为Socket网络端口的
            // 数据流,JavaReceiverInputStream,代表了一个输入的DStream
            // socketTextStream()方法接收两个基本参数,第一个是监听哪个主机上的端口,第二个是监听哪个端口
            JavaReceiverInputDStream<String> lines = jssc.socketTextStream("localhost", 9999);
            
            // 到这里为止,你可以理解为JavaReceiverInputDStream中的,每隔一秒,会有一个RDD,其中封装了
            // 这一秒发送过来的数据
            // RDD的元素类型为String,即一行一行的文本
            // 所以,这里JavaReceiverInputStream的泛型类型<String>,其实就代表了它底层的RDD的泛型类型
            
            // 开始对接收到的数据,执行计算,使用Spark Core提供的算子,执行应用在DStream中即可
            // 在底层,实际上是会对DStream中的一个一个的RDD,执行我们应用在DStream上的算子
            // 产生的新RDD,会作为新DStream中的RDD
            JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
    
                private static final long serialVersionUID = 1L;
    
                @Override
                public Iterable<String> call(String line) throws Exception {
                    return Arrays.asList(line.split(" "));  
                }
                
            });
            
            // 这个时候,每秒的数据,一行一行的文本,就会被拆分为多个单词,words DStream中的RDD的元素类型
            // 即为一个一个的单词
            
            // 接着,开始进行flatMap、reduceByKey操作
            // PairFunction<String, String, Integer> 第一个String是接受类型,后面的String Integer是返回类型
            // JavaPairDStream<String, Integer>中的String Integer也是返回类型
            JavaPairDStream<String, Integer> pairs = words.mapToPair(
                    
                    new PairFunction<String, String, Integer>() {
    
                        private static final long serialVersionUID = 1L;
    
                        @Override
                        public Tuple2<String, Integer> call(String word)
                                throws Exception {
                            return new Tuple2<String, Integer>(word, 1);
                        }
                        
                    });
            
            // 这里,正好说明一下,其实大家可以看到,用Spark Streaming开发程序,和Spark Core很相像
            // 唯一不同的是Spark Core中的JavaRDD、JavaPairRDD,都变成了JavaDStream、JavaPairDStream
            
            JavaPairDStream<String, Integer> wordCounts = pairs.reduceByKey(
                    
                    new Function2<Integer, Integer, Integer>() {
                
                        private static final long serialVersionUID = 1L;
    
                        @Override
                        public Integer call(Integer v1, Integer v2) throws Exception {
                            return v1 + v2;
                        }
                        
                    });
            
            // 到此为止,我们就实现了实时的wordcount程序了
            // 总结一下思路,加深一下印象
            // 每秒钟发送到指定socket端口上的数据,都会被lines DStream接收到
            // 然后lines DStream会把每秒的数据,也就是一行一行的文本,诸如hell world,封装为一个RDD
            // 然后呢,就会对每秒中对应的RDD,执行后续的一系列的算子操作
            // 比如,对lins RDD执行了flatMap之后,得到一个words RDD,作为words DStream中的一个RDD
            // 以此类推,直到生成最后一个,wordCounts RDD,作为wordCounts DStream中的一个RDD
            // 此时,就得到了,每秒钟发送过来的数据的单词统计
            // 但是,一定要注意,Spark Streaming的计算模型,就决定了,我们必须自己来进行中间缓存的控制
            // 比如写入redis等缓存
            // 它的计算模型跟Storm是完全不同的,storm是自己编写的一个一个的程序,运行在节点上,相当于一个
            // 一个的对象,可以自己在对象中控制缓存
            // 但是Spark本身是函数式编程的计算模型,所以,比如在words或pairs DStream中,没法在实例变量中
            // 进行缓存
            // 此时就只能将最后计算出的wordCounts中的一个一个的RDD,写入外部的缓存,或者持久化DB
            
            // 最后,每次计算完,都打印一下这一秒钟的单词计数情况
            // 并休眠5秒钟,以便于我们测试和观察
            
            Thread.sleep(5000);  
            wordCounts.print();
                
            // 首先对JavaSteamingContext进行一下后续处理
            // 必须调用JavaStreamingContext的start()方法,整个Spark Streaming Application才会启动执行
            // 否则是不会执行的
            jssc.start();
            //等待执行停止,执行过程中发生的任何异常将在此线程中抛出
            jssc.awaitTermination();
            jssc.close();
        }
        
    }


    二、scala版本

    package cn.spark.study.streaming
    
    import org.apache.spark.SparkConf
    import org.apache.spark.streaming.Seconds
    import org.apache.spark.streaming.StreamingContext
    
    /**
     * @author Administrator
     */
    object WordCount {
      
      def main(args: Array[String]): Unit = {
        val conf = new SparkConf().setMaster("local[2]").setAppName("WordCount")
            
        val ssc = new StreamingContext(conf, Seconds(1))
        
        val lines = ssc.socketTextStream("localhost", 9999)
        val words = lines.flatMap { _.split(" ") }   
        val pairs = words.map { word => (word, 1) }  
        val wordCounts = pairs.reduceByKey(_ + _)  
        
        Thread.sleep(5000)  
        wordCounts.print()  
        
        ssc.start()
        ssc.awaitTermination()
      }
      
    }


    三、StreamingContext详解

    有两种创建StreamingContext的方式:
    
    val conf = new SparkConf().setAppName(appName).setMaster(master);
    val ssc = new StreamingContext(conf, Seconds(1));
    
    StreamingContext,还可以使用已有的SparkContext来创建
    val sc = new SparkContext(conf)
    val ssc = new StreamingContext(sc, Seconds(1));
    
    appName,是用来在Spark UI上显示的应用名称。master,是一个Spark、Mesos或者Yarn集群的URL,或者是local[*]。
    
    batch interval可以根据你的应用程序的延迟要求以及可用的集群资源情况来设置。
    
    
    
    
    
    
    一个StreamingContext定义之后,必须做以下几件事情:
    1、通过创建输入DStream来创建输入数据源。
    2、通过对DStream定义transformation和output算子操作,来定义实时计算逻辑。
    3、调用StreamingContext的start()方法,来开始实时处理数据。
    4、调用StreamingContext的awaitTermination()方法,来等待应用程序的终止。可以使用CTRL+C手动停止,或者就是让它持续不断的运行进行计算。
    5、也可以通过调用StreamingContext的stop()方法,来停止应用程序。
    
    
    需要注意的要点:
    1、只要一个StreamingContext启动之后,就不能再往其中添加任何计算逻辑了。比如执行start()方法之后,还给某个DStream执行一个算子。
    2、一个StreamingContext停止之后,是肯定不能够重启的。调用stop()之后,不能再调用start()
    3、一个JVM同时只能有一个StreamingContext启动。在你的应用程序中,不能创建两个StreamingContext。
    4、调用stop()方法时,会同时停止内部的SparkContext,如果不希望如此,还希望后面继续使用SparkContext创建其他类型的Context,
    比如SQLContext,那么就用stop(false)。
    5、一个SparkContext可以创建多个StreamingContext,只要上一个先用stop(false)停止,再创建下一个即可。
  • 相关阅读:
    51nod_1445 变色DNA 最短路模板 奇妙思维
    51nod_1459 最短路 dijkstra 特调参数
    UVA_10653 公主与王子 #刘汝佳DP题刷完计划
    HOJ 13819 Height map
    51nod_1255字典序最小的子序列
    电梯设计需求调研报告
    梦断代码读后感
    求一循环数组的最大子数组的和
    求二维数组中最大子数组的和
    四则运算
  • 原文地址:https://www.cnblogs.com/weiyiming007/p/11327586.html
Copyright © 2020-2023  润新知