• kafka基础


    无论是kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息

    • Broker

      Kafka集群包含一个或多个服务器,这种服务器被称为broker

    • Topic

      每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)

    • Partition

      Parition是物理上的概念,每个Topic包含一个或多个Partition.

    • Producer

      负责发布消息到Kafka broker

    • Consumer

      消息消费者,向Kafka broker读取消息的客户端。

    • Consumer Group

      每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)

    启动kafka

    JMX_PORT=9997 bin/kafka-server-start.sh config/server.properties &

    创建Topic(包含一个分区,三个副本)

    bin/kafka-create-topic.sh--zookeeper 192.168.0.1:2181 --replica 3 --partition 1 --topicmy-replicated-topic

    查看topic情况

    bin/kafka-topics.sh --zookeeper node01:2181 --list

    创建发送者

    bin/kafka-console-producer.sh--broker-list 192.168.0.1:9091 --topic my-replicated-topic

    创建消费者

    bin/kafka-console-consumer.sh --zookeeper127.0.0.1:2181 --from-beginning --topic my-replicated-topic

    杀掉server1上的broker

    pkill -9 -f config/server.properties

    创建消费者,看是否能查询到消息

    bin/kafka-console-consumer.sh --zookeeper192.168.0.1:2181 --from-beginning --topic my-replicated-topic

  • 相关阅读:
    CentOS7安装注意
    ES插件安装
    CentOS7命令
    ES安装手册
    五 、redis-cluster java api
    四 、Redis 集群的搭建
    三 redis 的 java api(jedis)
    C#验证码 使用GDI绘制验证码
    云时代架构阅读笔记二——Java性能优化(二)
    【转载】Asp .Net Web Api路由路径问题
  • 原文地址:https://www.cnblogs.com/kuku0223/p/8352044.html
Copyright © 2020-2023  润新知