一、Kafaka 介绍
Apache Kafka 是分布式发布-订阅消息系统。 它最初由 LinkedIn 公司开发， 之后成为 Apache 项目的一部分。 Kafka 是一种快速、 可扩展的、 设计内在就是 分布式的， 分区的和可复制的提交日志服务 Kafka 是一个消息系统， 原本开发自 LinkedIn， 用作 LinkedIn 的活动流
（ activity stream） 和运营数据处理管道（ pipeline） 的基础。 后贡献给 apache 基金会， 成为 apache 的一个顶级项目。 
补充：
1、Kafka是一个分布式发布-订阅消息系统。分布式，意味着Kafka
可以在集群中运行。
2、消息的发布者，称为生产者（Producers），负责发布消息。发布消息之前，
需要发布确定一个主题（topic）。
3、broker，消息的缓存代理，相当于消息的服务器。生产者发布
的消息缓存在broker中。
4、消息的订阅者，称为消费者(Consumers)，负责订阅消费消息。它向broker
中获取订阅的消息进行消费。
5、Kafka集群的运行需要Zookeeper来协调服务，所以在运行Kafka
集群之前，必须保证Zookeeper集群能正常运行。
6、在企业的大数据开发中，
经常用Flume+Kafka+Spark Streaming(Storm)或者
Kafka+Spark Streaming+Redis的方式进行开发。
NoSQL：not only SQL(不仅仅是SQL),
常用NoSQL数据库：HBase、ES（Elastic Search）、Redis、MongDB
二、安装Kafka步骤
1、安转zookeeper
2、安装kafaka
3、下载解压安装包kafka_2.10-0.9.0.1.tgz
4、vi config/server.properties
5、broker.id=0
host.name=liuiwei3
zookeeper.connect=liuwei3:2181,liuwei1:2181,liuwei4:2181
6、将kafka复制到其他节点 scp -r kafka_2.10-0.9.0.1 hadoop@liuwei2:$PWD scp -r kafka_2.10-0.9.0.1 hadoop@liuwei4:$PWD
7、在其他两个salve节点分别修改
broker.id=1
host.name=liuiwei2
zookeeper.connect=liuwei3:2181,liuwei1:2181,liuwei4:2181
8、启动kafka
在三台机器上分别启动 ./bin/kafka-server-start.sh -daemon config/server.properties
9、检验kafka是否安装成功
在master节点（liuwei3）操作：创建一个名为 test 的主题
bin/kafka-topics.sh --create --zookeeper liuwei3:2181,liuwei2:2181,liuwei4:2181 --replication-factor 1 --partitions 1 --topic test
在一个终端上启动一个生产者 ./bin/kafka-console-producer.sh --broker-list liuwei3:9092,liuwei2:9092,liuwei4:9092 --topic test
然后再键盘输入信息：hello
在另一个终端中启动消费者（liuwei2,liuwei4），进入交互客户端，命令如下： ./bin/kafka-console-consumer.sh --zookeeper liuwei2:2181 --topic test --from-beginning
会在屏幕上显示相同的信息 hello
三、Kafka+Spark Streaming
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
|
object KafkaDemo { def main(args: Array[String]): Unit = { val conf=new SparkConf().setAppName("KafkaDemo") .setMaster("local[2]") val ssc=new StreamingContext(conf,Seconds(5)) //创建主题集合 val topicSet=Map(("tgtest2"->1)) /** * 第一个参数：StreamingContext对象 * 第二个参数：Zookeeper集群，注意端口：2181 * 第三个参数：消费者Consumer所在小组 * 第四个参数：运行的主题 */ //从Kafka中获取数据 val lines=KafkaUtils.createStream(ssc, "tgmaster:2181,tgslave:2181","DefaultConsumerGroup",topicSet) val result=lines.flatMap(x=>{ x._2.split(" ") }).map(word=>(word,1)) .reduceByKey(_+_) result.print() ssc.start() ssc.awaitTermination() }} |