• Kafka的安装和配置


    安装Kafka的方式,分别为:单节点单Broker部署、单节点多Broker部署、集群部署(多节点多Broker)。实际生产环境中使用的是第三种方式,以集群的方式来部署Kafka

    Kafka强依赖ZK,如果想要使用Kafka,就必须安装ZK,Kafka中的消费偏置信息、kafka集群、topic信息会被存储在ZK中。有人可能会说我在使用Kafka的时候就没有安装ZK,那是因为Kafka内置了一个ZK,一般我们不使用它

    安装JDK(kafka依赖jdk)

    一、Kafka 单节点部署

    Kafka中单节点部署又分为两种,一种为单节点单Broker部署,一种为单节点多Broker部署。因为是单节点的Kafka,所以在安装ZK时也只需要单节点即可

    1、cd /usr/local/software  # 这里自定安装目录

    2、wget http://www.apache.org/dist/kafka/2.2.1/kafka_2.12-2.2.1.tgz  # 下载kafka

    3、tar -xzvf kafka_2.11-0.8.2.1.tgz  # 解压

    4、mv kafka_2.11-0.8.2.1 /usr/local/kafka  # 移动到安装目录

    5、mkdir /usr/local/kafka/log/kafka  # 如果提示没有此目录则手动创建

    6、cd /usr/local/kafka/config # 进入配置目录

    7、vim server.properties 

    8、找到broker.id=0这一行,后面添加下面的内容

    port=9092 # 端口号

    host.name=192.168.5.56  # 服务器IP地址,修改为自己的服务器IP

    log.dirs=/usr/local/kafka/log/kafka  # 日志存放路径,上面创建的目录

    zookeeper.connect=localhost:2181  # zookeeper地址和端口,单机配置部署,localhost:2181

    9、mkdir /usr/local/kafka/zookeeper  # 创建zookeeper目录

    10、mkdir /usr/local/kafka/log/zookeeper  # 创建zookeeper日志目录

    11、cd /usr/local/kafka/config   # 进入配置目录

    12、vi zookeeper.properties #编辑修改相应的参数

    dataDir=/usr/local/kafka/zookeeper #zookeeper数据目录

    dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目录

    clientPort=2181

    maxClientCnxns=100

    tickTime=2000

    initLimit=10

    syncLimit=5

    13、cd /usr/local/kafka  # 创建启动脚本

    14、vi kafkastart.sh  # 这是新建一个脚本

    #!/bin/sh

    #启动zookeeper

    /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &

    #等3秒后执行

    sleep 3

    #启动kafka

    /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

    15、vi kafkastop.sh # 创建关闭脚本

    #!/bin/sh

    #关闭zookeeper

    /usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &

    sleep 3 #等3秒后执行

    #关闭kafka

    /usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &

     16、添加启动和关闭脚本的权限

    chmod +x kafkastart.sh

    chmod +x kafkastop.sh

    17、vi /etc/rc.d/rc.local  # 这个文件就在这个目录下有,设置脚本开机自动执行

    sh /usr/local/kafka/kafkastart.sh #启动kafka

    sh /usr/local/kafka/kafkastop.sh #关闭kafka

    18、jps -lm  # 查看kafka

  • 相关阅读:
    【LeetCode每天一题】Rotate List(旋转链表)
    【LeetCode每天一题】Permutation Sequence(排列序列)
    【LeetCode每天一题】Length of Last Word(字符串中最后一个单词的长度)
    【LeetCode每天一题】Merge Intervals(合并区间)
    【LeetCode每天一题】Spiral Matrix II(螺旋数组II)
    Ajax基础
    git的命令行操作
    新闻发布系统之登录和注销
    JSTL和EL
    servlet模板的修改
  • 原文地址:https://www.cnblogs.com/shizhengquan/p/10956403.html
Copyright © 2020-2023  润新知