• ubuntu16.04 Kafka 安装


    Kafka核心概念:

    下面介绍Kafka相关概念,以便运行下面实例的同时,更好地理解Kafka.
    1. Broker
    Kafka集群包含一个或多个服务器,这种服务器被称为broker
    2. Topic
    每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)
    3. Partition
    Partition是物理上的概念,每个Topic包含一个或多个Partition.
    4. Producer
    负责发布消息到Kafka broker
    5. Consumer
    消息消费者,向Kafka broker读取消息的客户端。
    6. Consumer Group
    每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)

    安装:

    1.sudo tar -zxf kafka_2.11-0.11.0.1.tgz -C /usr/local2  (我的Scala是2.11)

    2.cd /usr/local2

    3. sudo mv ./kafka_2.11-0.11.0.1 ./kafka

    4.测试:

    4.1启动zookeeper

    cd /usr/local2/kafka
    bin/zookeeper-server-start.sh config/zookeeper.properties
    4.2 启动Kafka服务端

    bin/kafka-server-start.sh config/server.properties
    5.以上都不要关闭,创建topic
    ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic soyo

    这个topic叫soyo,2181是zookeeper默认的端口号,partition是topic里面的分区数,replication-factor是备份的数量,在kafka集群中使用,这里单机版就不用备份了

    6. 查看创建的主题
    bin/kafka-topics.sh --list --zookeeper localhost:2181
    7.
    producer生产数据
    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic soyo
    shell:输入数据
    8.
    consumer来接收数据
    bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic dblab --from-beginning
    shell:可以看到刚才的数据
  • 相关阅读:
    C#字符串转换为数字的4种方法
    Linq to SQL Xml Based
    Code Snippets in Visual Studio 2010
    cygwin 压缩
    Cygwin安装Gitolite3
    ubuntu下如何用命令行运行deb安装包
    iconv bom
    __stdcall型dll转lib
    cygwin install lua modules
    luacom cygwin
  • 原文地址:https://www.cnblogs.com/soyo/p/7683469.html
Copyright © 2020-2023  润新知