kafka介绍:
Kafka是一种高吞吐量的分布式发布订阅消息系统,用户通过Kafka系统可以发布大量的消息同时也能实时订阅消费消息
Kafka可以同时满足在线实时处理和批量离线处理
在公司的大数据生态系统中,可以把Kafka作为数据交换枢纽,不同类型的分布式系统(关系数据库、NoSQL数据库、流处理系统、批处理系统等),可以统一接入到Kafka,实现和Hadoop各个组件之间的不同类型数据的实时高效交换
Kafka作为数据交换枢纽:
Broker
Kafka集群包含一个或多个服务器,这种服务器被称为broker
Partition
Partition是物理上的概念,每个Topic包含一个或多个Partition
Consumer
消息消费者,向Kafkabroker读取消息的客户端
Topic
每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic
Producer
负责发布消息到Kafka broker
Consumer Group
每个Consumer属于一个特定的Consumer Group