Spark Streaming概述
作者：尹正杰
版权声明：原创作品，谢绝转载！否则将追究法律责任。
一.Spark Streaming概览
1>.什么是Spark Streaming
Spark Streaming是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。
如下图所示，Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ,Kinesis,HDFS,简单的TCP套接字，甚至你还可以自定义数据源等等。
数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。
最后，可以将处理后的数据推送到文件系统，数据库和实时仪表板。
实际上，您可以在数据流上应用Spark的机器学习和图形处理算法。
在内部，它的工作方式如下。Spark Streaming接收实时输入数据流，并将数据分为批次，然后由Spark引擎进行处理，以生成批次的最终结果流。
和Spark基于RDD的概念很相似，Spark Streaming使用离散化流(discretized stream)作为抽象表示，叫作DStream。DStream是随时间推移而收到的数据的序列。在内部，每个时间区间收到的数据都作为 RDD 存在，而DStream是由这些RDD所组成的序列(因此得名“离散化”)。 Spark Streaming提供了称为离散流或DStream的高级抽象，它表示连续的数据流。DStreams可以根据来自Kafka和Kinesis等来源的输入数据流来创建，也可以通过对其他DStreams应用高级操作来创建。在内部，DStream表示为RDD序列。 博主推荐阅读: http://spark.apache.org/docs/latest/streaming-programming-guide.html
2>.Spark Streaming的特点
易用:
Spark Streaming将Apache Spark的 语言集成API 引入流处理，使您可以像编写批处理作业一样编写流作业。它支持Java，Scala和Python。
容错:
Spark Streaming可以立即恢复丢失的工作和操作员状态（例如，滑动窗口），而无需任何额外的代码。
易整合到Spark体系:
通过在Spark上运行，Spark Streaming可让您将相同的代码重用于批处理，针对历史数据加入流或对流状态运行临时查询。构建功能强大的交互式应用程序，而不仅仅是分析。
3>.Spark Streaming架构
二.DStream入门案例(wordcount)
需求说明:
使用netcat工具向8888端口不断的发送数据，通过SparkStreaming读取端口数据并统计不同单词出现的次数。
1>.添加依赖关系
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>2.1.1</version> </dependency>
2>.安装netcat工具并监听相应端口
[root@hadoop101.yinzhengjie.org.cn ~]# yum -y install nc Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile * base: mirrors.aliyun.com * extras: mirrors.aliyun.com * updates: mirror.bit.edu.cn Resolving Dependencies --> Running transaction check ---> Package nmap-ncat.x86_64 2:6.40-19.el7 will be installed --> Finished Dependency Resolution Dependencies Resolved ============================================================================================================================================================================================================================================================================== Package Arch Version Repository Size ============================================================================================================================================================================================================================================================================== Installing: nmap-ncat x86_64 2:6.40-19.el7 base 206 k Transaction Summary ============================================================================================================================================================================================================================================================================== Install 1 Package Total download size: 206 k Installed size: 423 k Downloading packages: nmap-ncat-6.40-19.el7.x86_64.rpm | 206 kB 00:00:00 Running transaction check Running transaction test Transaction test succeeded Running transaction Installing : 2:nmap-ncat-6.40-19.el7.x86_64 1/1 Verifying : 2:nmap-ncat-6.40-19.el7.x86_64 1/1 Installed: nmap-ncat.x86_64 2:6.40-19.el7 Complete! [root@hadoop101.yinzhengjie.org.cn ~]#
[root@hadoop101.yinzhengjie.org.cn ~]# nc -lk 8888 #监听端口
3>.编写wordcount代码
package com.yinzhengjie.bigdata.spark.streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import org.apache.spark.streaming.{Seconds, StreamingContext} object WordCount { def main(args: Array[String]): Unit = { /** * 1>.初始化Spark配置信息 */ val sparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkStreamingWordCount") /** * 2>.初始化SparkStreamingContext(实时数据分析环境对象) * * 自定义采集周期: * 以指定的时间为周期采集实时数据。我这里指定采集周期是5秒.生产环境中我们可以将这个值改小,比如每秒采集一次. */ val ssc = new StreamingContext(sparkConf, Seconds(5)) /** * 3>.通过监控端口创建DStream，读进来的数据为一行行(即从指定端口中采集数据) */ val socketLineDStream:ReceiverInputDStream[String] = ssc.socketTextStream("hadoop101.yinzhengjie.org.cn", 8888) /** * 4>.将采集的数据进行扁平化操作(即将每一行数据做切分，形成一个个单词) */ val wordDStreams:DStream[String] = socketLineDStream.flatMap(_.split(" ")) /** * 5>.将数据进行结构的转换方便统计分析(即将单词映射成元组（word,1)) */ val wordAndOneStreams:DStream[(String,Int)] = wordDStreams.map((_, 1)) /** * 6>.将相同的单词次数做统计 */ val wordToCountDStream:DStream[(String,Int)] = wordAndOneStreams.reduceByKey(_+_) /** * 7>.将结果打印出来 */ wordToCountDStream.print() /** * 8>.启动(SparkStreamingContext)采集器 */ ssc.start() /** * 9>.Driver等待采集器的执行(即禁止main线程主动退出) */ ssc.awaitTermination() /** * 温馨提示: * 咱们的程序是实时处理数据的，因此生产环境中不能停止采集程序，因此不建议使用哟~ */ // ssc.stop() } }
三.博主推荐阅读
Spark Streaming-DStream实战案例： https://www.cnblogs.com/yinzhengjie2020/p/13233192.html