• zookeeper和kafka搭建集群


    kafka需要修改的三个配置

    第一步:解压下kafka-->config-->server.properties

    • broker.id 对应的是zookeeper中的server.id 数字对应
    • listeners 对应的是当前服务器的ip地址(默认是注释的,需要放开)listeners=PLAINTEXT://添加你的ip:9092
    • zookeeper.connect 对应的是zookeeper中的集群ip

    注意防火墙问题,zookeeper中要通信要将防火墙中的几个端口放开

    二、firewall防火墙
    1、查看firewall服务状态

    systemctl status firewalld

    出现Active: active (running)切高亮显示则表示是启动状态。

    出现 Active: inactive (dead)灰色表示停止,看单词也行。
    2、查看firewall的状态

    firewall-cmd --state
    3、开启、重启、关闭、firewalld.service服务

    # 开启
    service firewalld start
    # 重启
    service firewalld restart
    # 关闭
    service firewalld stop
    4、查看防火墙规则

    firewall-cmd --list-all
    5、查询、开放、关闭端口

    # 查询端口是否开放
    firewall-cmd --query-port=8080/tcp
    # 开放80端口
    firewall-cmd --permanent --add-port=80/tcp
    # 移除端口
    firewall-cmd --permanent --remove-port=8080/tcp
    #重启防火墙(修改配置后要重启防火墙)
    firewall-cmd --reload

    二、kafka启动遇到的问题

    1、Replication factor: 2 larger than available brokers: 1

    ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 2 larger than available brokers: 1.

    原因创建topic时–replication-factor 2,超过了broker的数量
    使用zookeeper可以查看broker的数量

     ./bin/zkCli.sh -server 192.168.159.130

    2、ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)

    在kafka目录下使用该命令:   ./bin/kafka-server-start.sh config/server.properties &

    kafka启动   ./bin/kafka-server-start.sh -daemon config/server.properties  查看启动命令ps aux | grep 'kafka' 

    报错可能是jdk版本问题,需要使用jdk8以上版本  作者使用的版本是:jdk1.8.0_221

    出现这种情况就说明搭建完成。

    当一个人在成长过程中,慢慢的享受学习,那么这个人就在成长,在往自己目标的方向奔跑.
  • 相关阅读:
    基于IPV6的数据包分析
    OSPFv3与OSPF的配置
    防火墙技术综合实验
    基于服务器的AAA配置实验
    基于服务器的AAA实验
    ipv6到ipv4隧道6to4(GNS3)
    Intellij IDEA(idea) 设置创建文件自动添加创建人和创建时间
    虎扑盖饭系列的数据爬虫和分析
    优酷评论爬虫
    MySQL聚族索引、辅助索引、回表和索引覆盖
  • 原文地址:https://www.cnblogs.com/zique/p/12394139.html
Copyright © 2020-2023  润新知