简介
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
相关术语(参考百度百科)
Broker Kafka集群包含一个或多个服务器,这种服务器被称为broker Topic 每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处) Partition Partition是物理上的概念,每个Topic包含一个或多个Partition Producer 负责发布消息到Kafka broker Consumer 消息消费者,向Kafka broker读取消息的客户端 Consumer Group 每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)
下载
https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz
安装
解压
tar -zxvf kafka_2.12-2.3.0.tgz -C /usr/local/
修改配置文件
创建存放数据的文件夹
查看zk的配置
vim zoo.cfg,zk的端口是2180
kafka中对应修改为2180
另外,zookeeper安装,请参考:https://www.cnblogs.com/uncleyong/p/10737119.html
启动服务
启动zookeeper
启动kafka
测试
创建Topic
查看Topic列表
查看分区
启动kafka的生产者,发送消息:全栈
启动kafka的消费者
消费者1
消费者2
生产者再次发送消息:test
消费者1取消息
消费者2取消息
消息存在分区里面了