• Kafka集群的安装和部署


      一、Kafka的下载与解压

      http://kafka.apache.org/downloads.html下载kafka_2.11-1.1.1.tgz.gz并解压到/home/jun下

    [jun@master ~]$ cd kafka_2.11-1.1.1/
    [jun@master kafka_2.11-1.1.1]$ ls -l
    total 48
    drwxr-xr-x. 3 jun jun  4096 Jul  7 12:15 bin
    drwxr-xr-x. 2 jun jun  4096 Jul  7 12:15 config
    drwxr-xr-x. 2 jun jun  4096 Jul 23 16:32 libs
    -rw-r--r--. 1 jun jun 28824 Jul  7 12:12 LICENSE
    -rw-r--r--. 1 jun jun   336 Jul  7 12:12 NOTICE
    drwxr-xr-x. 2 jun jun    44 Jul  7 12:15 site-docs

      二、配置Kafka集群

      1.在Master节点上的配置

      配置server.properties

    [jun@master kafka_2.11-1.1.1]$ gedit /home/jun/kafka_2.11-1.1.1/config/server.properties 

      (1)在Server Basics部分增加下面的配置:将master作为broker,其id采用了默认的0

    ############################# Server Basics #############################
    
    # The id of the broker. This must be set to a unique integer for each broker.
    broker.id=0
    host.name=master
    listeners=PLAINTEXT://master:9092

      (2)在Zookeeper部分增加下面的配置,Zookeeper作为协调器,它连接的节点包括了集群的所有计算机。

    ############################# Zookeeper #############################
    
    # Zookeeper connection string (see zookeeper docs for details).
    # This is a comma separated host:port pairs, each corresponding to a zk
    # server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
    # You can also append an optional chroot string to the urls to specify the
    # root directory for all kafka znodes.
    zookeeper.connect=master:2181,slave0:2181,slave1:2181
    
    # Timeout in ms for connecting to zookeeper
    zookeeper.connection.timeout.ms=6000

      将Kafka文件复制Slave节点

    [jun@master kafka_2.11-1.1.1]$ scp -r /home/jun/kafka_2.11-1.1.1/   slave0:~/
    [jun@master kafka_2.11-1.1.1]$ scp -r /home/jun/kafka_2.11-1.1.1/   slave1:~/

      2.在Slave节点上的配置

      同理,将slave0的broker.id设置为1,host.name=slave0,listeners=PLAINTEXT://slave0:9092;将slave1的broker.id设置为2,host.name=slave1,listeners=PLAINTEXT://slave1:9092即可。

      三、Kafka的应用

      1.启动Kafka自带的Zookeeper服务

      首先查看当前系统进程列表

    [jun@master ~]$ jps
    3070 Jps
    
    [jun@slave0 ~]$ jps
    3141 Jps
    
    [jun@slave1 ~]$ jps
    3114 Jps

      启动Kafka自带的Zookeeper服务

    [jun@master kafka_2.11-1.1.1]$ bin/zookeeper-server-start.sh config/zookeeper.properties
    [jun@slave0 kafka_2.11-1.1.1]$ bin/zookeeper-server-start.sh config/zookeeper.properties
    [jun@slave1 kafka_2.11-1.1.1]$ bin/zookeeper-server-start.sh config/zookeeper.properties

      另开一个终端,查看此时的系统进程,此时QuorumPeerMain就是Zookeeper服务器进程

    [jun@master kafka_2.11-1.1.1]$ jps
    3588 Jps
    3147 QuorumPeerMain
    
    [jun@slave0 kafka_2.11-1.1.1]$ jps
    3891 Jps
    3547 QuorumPeerMain
    
    [jun@slave1 kafka_2.11-1.1.1]$ jps
    3201 QuorumPeerMain
    3538 Jps

      2.启动Kafka服务

    [jun@master kafka_2.11-1.1.1]$ bin/kafka-server-start.sh config/server.properties 
    [jun@slave0 kafka_2.11-1.1.1]$ bin/kafka-server-start.sh config/server.properties 
    [jun@slave1 kafka_2.11-1.1.1]$ bin/kafka-server-start.sh config/server.properties 

      另开一个终端,查看此时的系统进程,此时的Kafka就是Kafka的服务器进程

    [jun@master kafka_2.11-1.1.1]$ jps
    4064 Jps
    3687 Kafka
    3147 QuorumPeerMain
    
    [jun@slave0 kafka_2.11-1.1.1]$ jps
    4021 Kafka
    3547 QuorumPeerMain
    4398 Jps
    
    [jun@slave1 kafka_2.11-1.1.1]$ jps
    3201 QuorumPeerMain
    3682 Kafka
    4059 Jps

      3.创建主题

    ·  主题(Topic)是消息中间件的基本概念,相当于文件系统的目录,其实就是用于保存消息内容的计算实体,通过主题名加以标识,就如同目录通过目录名标识一样。

      (1)在master节点上创建一个名称为“test”的主题

    [jun@master kafka_2.11-1.1.1]$ bin/kafka-topics.sh --create -zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test
    Created topic "test".

      (2)查看已经创建的消息主题,同样,在其他Slave结点上执行该命令也可以查看到创建的主题

    [jun@master kafka_2.11-1.1.1]$ bin/kafka-topics.sh --list --zookeeper master:2181
    test

      4.发送消息

      消息中间件是一个用于接收消息并转发消息的服务,为了检验Kafka是否能够正常工作,需要创建一个消息生产者(producer)、利用它产生消息

    [jun@master kafka_2.11-1.1.1]$ bin/kafka-console-producer.sh --broker-list master:9092 --topic test
    >say hi
    [2018-07-23 20:14:28,119] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 1 : {myfinaltest=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
    >hi
    >you
    >cnm
    >

      5.接收消息

      在一个新终端上执行如下的命令,可以看到接收到了producer发送的消息

    [jun@slave0 kafka_2.11-1.1.1]$ bin/kafka-console-consumer.sh --bootstrap-server slave0:9092 --topic test--from-beginning
    say hi
    hi
    you
    cnm
    
    [jun@slave1 kafka_2.11-1.1.1]$ bin/kafka-console-consumer.sh --bootstrap-server slave0:9092 --topic test--from-beginning
    say hi
    hi
    you
    cnm
  • 相关阅读:
    net8:XML的读写操作【广告控件的XML文件实例】
    挺喜欢这个网站的
    问的问题的答案~
    zookeeper集群搭建
    solrCloud简介
    e3商城_day07
    solrj实现增删查
    solr后台管理界面-数据导入
    solr后台管理界面-增删改
    s5p6818 从SD卡启动程序(制作SD启动卡)
  • 原文地址:https://www.cnblogs.com/BigJunOba/p/9356069.html
Copyright © 2020-2023  润新知