• zookeeper伪集群搭建


    本篇目的是在一台虚拟机上搭建一个3台zookeeper服务器的伪集群。

    一、安装java环境,不再赘述。

    二、下载、配置 Zookeeper

    1、在 /opt 目录下创建 zookeeper/ 目录: 

        mkdir /opt/zookeeper/

    2、进入 zookeeper 目录,创建集群的各台服务器的数据目录和日志目录。

        cd /opt/zookeeper

        mkdir zkdata_1 zkdatalog_1

        mkdir zkdata_2 zkdatalog_2

        mkdir zkdata_3 zkdatalog_3

    3、在 zookeeper 目录下载 zookeeper 安装包。

        wget https://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz

    4、解压 zookeeper-3.4.11.tar.gz

        tar -zxvf zookeeper-3.4.11.tar.gz

    5、经过解压得到目录 zookeeper-3.4.11/,进入zookeeper-3.4.11/conf/ 目录

        cd zookeeper-3.4.11/conf/

    6、修改zookeeper配置文件,通常将zookeeper-3.4.11/conf/ 目录下 zoo_sample.cfg 修改为 zoo.cfg(zoo_sample.cfg这个文件是官方给的zookeeper配置的样板文件,zoo.cfg 是官方指定的配置文件的命名规则),这里我们要搭建3台zookeeper服务器,所以我将样板文件复制为zoo_1.cfg、zoo_2.cfg、zoo_3.cfg分别表示每台服务器各自的配置文件。

        cp zoo_sample.cfg zoo_1.cfg

        cp zoo_sample.cfg zoo_2.cfg

        cp zoo_sample.cfg zoo_3.cfg

    配置文件内容如下:

    zoo_1.cfg:
    tickTime=2000
    initLimit=10
    syncLimit=5
    dataDir=/opt/zookeeper/zkdata_1
    clientPort=2181
    dataLogDir=/opt/zookeeper/zkdatalog_1
    server.1=192.168.10.128:2887:3887
    server.2=192.168.10.128:2888:3888
    server.3=192.168.10.128:2889:3889
    
    zoo_2.cfg:
    tickTime=2000
    initLimit=10
    syncLimit=5
    dataDir=/opt/zookeeper/zkdata_2
    clientPort=2182
    dataLogDir=/opt/zookeeper/zkdatalog_2
    server.1=192.168.10.128:2887:3887
    server.2=192.168.10.128:2888:3888
    server.3=192.168.10.128:2889:3889
    
    zoo_3.cfg:
    tickTime=2000
    initLimit=10
    syncLimit=5
    dataDir=/opt/zookeeper/zkdata_3
    clientPort=2183
    dataLogDir=/opt/zookeeper/zkdatalog_3
    server.1=192.168.10.128:2887:3887
    server.2=192.168.10.128:2888:3888
    server.3=192.168.10.128:2889:3889
    
    说明:
    #tickTime:
    这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。
    #initLimit:
    这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 5个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒
    #syncLimit:
    这个配置项标识 Leader 与Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是5*2000=10秒
    #dataDir:
    快照日志的存储路径
    #dataLogDir:
    事物日志的存储路径,如果不配置这个那么事物日志会默认存储到dataDir制定的目录,这样会严重影响zk的性能,当zk吞吐量较大的时候,产生的事物日志、快照日志太多
    #clientPort:
    这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
    #server.1 
    这个1是服务器的标识也可以是其他的数字, 表示这个是第几号服务器,用来标识服务器,这个标识要写到快照目录下面myid文件里
    #192.168.10.128
    为集群里的IP地址,第一个端口是master和slave之间的通信端口,默认是2888,第二个端口是leader选举的端口,集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888

    7、创建myid文件

    #server1
    echo "1" > /opt/zookeeper/zkdata_1/myid
    #server2
    echo "2" > /opt/zookeeper/zkdata_2/myid
    #server3
    echo "3" > /opt/zookeeper/zkdata_3/myid

    8、重要配置说明

    8.1、myid文件和server.myid  在快照目录下存放的标识本台服务器的文件,他是整个zk集群用来发现彼此的一个重要标识。

    8.2、zoo.cfg 文件是zookeeper配置文件 在conf目录里。

    8.3、log4j.properties文件是zk的日志输出文件 在conf目录里用java写的程序基本上有个共同点日志都用log4j,来进行管理。

    # Define some default values that can be overridden by system properties
    zookeeper.root.logger=INFO, CONSOLE  #日志级别
    zookeeper.console.threshold=INFO  #使用下面的console来打印日志
    zookeeper.log.dir=.    #日志打印到那里,是咱们启动zookeeper的目录 (建议设置统一的日志目录路径)
    zookeeper.log.file=zookeeper.log
    zookeeper.log.threshold=DEBUG
    zookeeper.tracelog.dir=.
    zookeeper.tracelog.file=zookeeper_trace.log
    
    #
    # ZooKeeper Logging Configuration
    #
    
    # Format is "<default threshold> (, <appender>)+
    
    # DEFAULT: console appender only
    log4j.rootLogger=${zookeeper.root.logger}
    
    # Example with rolling log file
    #log4j.rootLogger=DEBUG, CONSOLE, ROLLINGFILE
    
    # Example with rolling log file and tracing
    #log4j.rootLogger=TRACE, CONSOLE, ROLLINGFILE, TRACEFILE
    
    #
    # Log INFO level and above messages to the console
    #
    log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
    log4j.appender.CONSOLE.Threshold=${zookeeper.console.threshold}
    log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout
    log4j.appender.CONSOLE.layout.ConversionPattern=%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L] - %m%n
    
    
    # Add ROLLINGFILE to rootLogger to get log file output
    #    Log DEBUG level and above messages to a log file
    log4j.appender.ROLLINGFILE=org.apache.log4j.RollingFileAppender
    log4j.appender.ROLLINGFILE.Threshold=${zookeeper.log.threshold}
    log4j.appender.ROLLINGFILE.File=${zookeeper.log.dir}/${zookeeper.log.file}
    
    # Max log file size of 10MB
    log4j.appender.ROLLINGFILE.MaxFileSize=10MB
    # uncomment the next line to limit number of backup files
    #log4j.appender.ROLLINGFILE.MaxBackupIndex=10
    
    log4j.appender.ROLLINGFILE.layout=org.apache.log4j.PatternLayout
    log4j.appender.ROLLINGFILE.layout.ConversionPattern=%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L] - %m%n
    
    
    #
    # Add TRACEFILE to rootLogger to get log file output
    #    Log DEBUG level and above messages to a log file
    log4j.appender.TRACEFILE=org.apache.log4j.FileAppender
    log4j.appender.TRACEFILE.Threshold=TRACE
    log4j.appender.TRACEFILE.File=${zookeeper.tracelog.dir}/${zookeeper.tracelog.file}
    
    log4j.appender.TRACEFILE.layout=org.apache.log4j.PatternLayout
    ### Notice we are including log4j's NDC here (%x)
    log4j.appender.TRACEFILE.layout.ConversionPattern=%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L][%x] - %m%n

    4、zkEnv.sh和zkServer.sh文件

      zkServer.sh 主的管理程序文件
      zkEnv.sh 是主要配置,zookeeper集群启动时配置环境变量的文件
    5、还有一个需要注意
      ZooKeeper server will not remove old snapshots and log files when using the default configuration (see autopurge below), this is the responsibility of the operator
    zookeeper不会主动的清除旧的快照和日志文件,这个是操作者的责任。

      但是可以通过命令去定期的清理。

    #!/bin/bash 
       
    #snapshot file dir 
    dataDir=/opt/zookeeper/zkdata/version-2
    #tran log dir 
    dataLogDir=/opt/zookeeper/zkdatalog/version-2
    
    #Leave 66 files 
    count=66 
    count=$[$count+1] 
    ls -t $dataLogDir/log.* | tail -n +$count | xargs rm -f 
    ls -t $dataDir/snapshot.* | tail -n +$count | xargs rm -f 
    
    #以上这个脚本定义了删除对应两个目录中的文件,保留最新的66个文件,可以将他写到crontab中,设置为每天凌晨2点执行一次就可以了。
    
    
    #zk log dir   del the zookeeper log
    #logDir=
    #ls -t $logDir/zookeeper.log.* | tail -n +$count | xargs rm -f

    9、启动zookeeper服务

    9.1 启动服务

    #进入到Zookeeper的bin目录下
    cd /opt/zookeeper/zookeeper-3.4.11/
    #启动服务(3台都需要操作)
    bin/zkServer.sh start conf/zoo_1.cfg
    bin/zkServer.sh start conf/zoo_2.cfg
    bin/zkServer.sh start conf/zoo_3.cfg

    9.2检查服务状

    bin/zkServer.sh status conf/zoo_1.cfg
    JMX enabled by default
    Using config: /opt/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg  #配置文件
    Mode: follower  #他是不为领导

      zk集群一般只有一个leader,多个follower,主一般是相应客户端的读写请求,而从主同步数据,当主挂掉之后就会从follower里投票选举一个leader出来。

    参考链接:https://www.cnblogs.com/luotianshuai/p/5206662.html

  • 相关阅读:
    Nginx+.Net Core实现项目负载均衡
    linux(centos8):使用zip/unzip压缩和解压缩文件
    spring boot:用itextpdf处理pdf表格文件(spring boot 2.3.2)
    spring boot:使用poi导出excel电子表格文件(spring boot 2.3.1)
    spring boot:发送带附件的邮件和html内容的邮件(以163.com邮箱为例/spring boot 2.3.2)
    暗夜模式配置
    简述逻辑外键
    分页后端逻辑
    python算法时间复杂度
    python五大排序算法
  • 原文地址:https://www.cnblogs.com/GnibChen/p/8487667.html
Copyright © 2020-2023  润新知