• Linux中kafka部署和集群


    1.下载kafka安装包kafka_2.12-1.1.0。

    tar -xzvf kafka_2.11-0.8.2.1.tgz #解压

    mv kafka_2.11-0.8.2.1 /usr/local/kafka #移动到安装目录

    2、配置kafka

    mkdir /usr/local/kafka/log/kafka #创建kafka日志目录

    cd /usr/local/kafka/config #进入配置目录

    vi server.properties #编辑修改相应的参数

    broker.id=0

    port=9092 #端口号

    host.name=192.168.5.56 #服务器IP地址,修改为自己的服务器IP

    log.dirs=/usr/local/kafka/log/kafka #日志存放路径,上面创建的目录

    zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181

    :wq! #保存退出

    3、配置zookeeper

    mkdir /usr/local/kafka/zookeeper #创建zookeeper目录

    mkdir /usr/local/kafka/log/zookeeper #创建zookeeper日志目录

    cd /usr/local/kafka/config #进入配置目录

    vi zookeeper.properties #编辑修改相应的参数

    dataDir=/usr/local/kafka/zookeeper #zookeeper数据目录

    dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目录

    clientPort=2181

    maxClientCnxns=100

    tickTime=2000

    initLimit=10

    syncLimit=5

    :wq! #保存退出

    4. 创建启动、关闭kafka脚本

    cd /usr/local/kafka

    #创建启动脚本

    vi kafkastart.sh #编辑,添加以下代码

    #!/bin/sh

    #启动zookeeper

    /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &

    sleep 3 #等3秒后执行

    #启动kafka

    /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

    :wq! #保存退出

    #创建关闭脚本

    vi kafkastop.sh #编辑,添加以下代码

    #!/bin/sh

    #关闭zookeeper

    /usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &

    sleep 3 #等3秒后执行

    #关闭kafka

    /usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &

    :wq! #保存退出

    #添加脚本执行权限

    chmod +x kafkastart.sh

    chmod +x kafkastop.sh

    5.设置脚本开机自动执行

    vi /etc/rc.d/rc.local #编辑,在最后添加一行

    sh /usr/local/kafka/kafkastart.sh & #设置开机自动在后台运行脚本

    :wq! #保存退出

    sh /usr/local/kafka/kafkastart.sh #启动kafka

    sh /usr/local/kafka/kafkastop.sh #关闭kafka

    6.kafka集群部署

    1.进入到kafka/config目录下,

    进入到kafka/config的目录下,修改配置文件,vim  server.properties,需要修改的配置是:

    #每台服务器的broker.id都不能相同

    broker.id=0 

    #在log.retention.hours=168 后新增下面三项

    message.max.byte=5242880

    default.replication.factor=1

    replica.fetch.max.bytes=5242880

    #设置zookeeper的连接端口

    zookeeper.connect=master:2181,slave1:2181

    #日志文件的目录,设置成刚刚创建的logs目录

    log.dirs=/opt/soft/kafka/logs/

    注意:salve1中的broker.id为1

    修改完成之后保存,退出

    2. #进入到kafka的bin目录

    ./kafka-server-start.sh -daemon ../config/server.properties

    检查kafka是否启动

    #执行命令jps

    [root@centos7587 bin]# jps

    14194 QuorumPeerMain

    18557 Jps

  • 相关阅读:
    蚂蚁金服井贤栋:用技术联手金融机构,形成服务小微的生态合力
    蚂蚁金服 Service Mesh 渐进式迁移方案|Service Mesh Meetup 实录
    蚂蚁金服“定损宝”现身AI顶级会议NeurIPS
    报名 | 蚂蚁金服ATEC科技大会 · 上海:数字金融新原力
    前沿 | 中国中小银行都是如何展开数字化转型的?
    盘点:2018年双11背后的蚂蚁核心技术
    构筑敏捷能力中心,打造下一代数字银行“操作系统”!
    客户故事:4家银行如何打造新一代移动金融中心
    干货 | 金融级互联网产品持续交付的挑战与应对
    性能跃升50%!解密自主研发的金融级分布式关系数据库OceanBase 2.0
  • 原文地址:https://www.cnblogs.com/wangjunguang/p/9334223.html
Copyright © 2020-2023  润新知