• zookeeper三种模式安装详解(centos 7+zookeeper-3.4.9)


    zookeeper有单机、伪集群、集群三种部署方式,可根据自己实际情况选择合适的部署方式。下边对这三种部署方式逐一进行讲解。

    一 单机模式

    1.下载

    进入要下载的版本的目录,选择.tar.gz文件下载
    下载链接:http://archive.apache.org/dist/zookeeper/
    注意:点击进入之后,会显示zookeeper文件的下载目录,如图所示,显示了多个版本可以下载。alpha版本是内测,功能不是很完全的,能够满足一定的需要,这里我们不建议选择;beta是公测版本,基本上可以满足要求,可以适当的根据需要选择;如果是对稳定性要求非常高的话,最好是选择正式发布的版本。

    2.上传安装包到usr/local目录下,并解压缩,重命名,配置环境变量

    [root@hadoop ~]# cd /usr/local/
    [root@hadoop local]# tar xzvf zookeeper-3.4.9.tar.gz #解压缩
    [root@hadoop local]# mv zookeeper-3.4.9 zookeeper #重命名
    [root@hadoop local]# vi /etc/profile #添加环境变量
    添加变量:export ZOO_HOME=/usr/local/zookeeper
    然后在PATH变量后面添加::$ZOO_HOME/bin
    [root@hadoop local]# source /etc/profile #生成环境变量

    3.配置zookeeper。将配置模板生成为配置文件,生成dataDir目录,修改参数

    [root@hadoop local]# cd /usr/local/zookeeper/conf
    [root@hadoop conf]# ls
    configuration.xsl  log4j.properties  zoo_sample.cfg
    [root@hadoop conf]# cp zoo_sample.cfg zoo.cfg #生成配置文件
    [root@hadoop conf]# mkdir -p /usr/local/zookeeper/data #生成dataDir目录
    [root@hadoop conf]# vi zoo.cfg  #添加如下参数
    dataDir=/usr/local/zookeeper/data #已有,修改即可
    dataLogDir=/usr/local/zookeeper/data/log 
    server.1=hadoop:2888:3888

    附zoo.cfg文件

    # The number of milliseconds of each tick
    #表示每2s心跳一次,zookeeper的服务器之间或者客户端与服务器之间维持着一种心跳机制
    tickTime=2000
    # The number of ticks that the initial 
    # synchronization phase can take
    #集群中的follower和leader之间初始连接时能够容忍的最大心跳数
    initLimit=10 
    # The number of ticks that can pass between 
    # sending a request and getting an acknowledgement
    #leader和follower之间同步的实现,follower和leader之间请求和应答能容忍的最大心跳数
    #也就是说在5个心跳之后判断对方死亡
    syncLimit=5 
    # the directory where the snapshot is stored.
    # do not use /tmp for storage, /tmp here is just 
    # example sakes.
    #zookeeper数据存放的目录
    dataDir=/usr/local/zookeeper/data
    #zookeeper数据的日志文件存放的目录
    dataLogDir=/usr/local/zookeeper/data/log
    # the port at which the clients will connect
    #客户端连接zookeeper的端口号
    clientPort=2181
    # the maximum number of client connections.
    # increase this if you need to handle more clients
    #maxClientCnxns=60
    #
    # Be sure to read the maintenance section of the 
    # administrator guide before turning on autopurge.
    #
    # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
    #
    # The number of snapshots to retain in dataDir
    #autopurge.snapRetainCount=3
    # Purge task interval in hours
    # Set to "0" to disable auto purge feature
    #autopurge.purgeInterval=1
    #此处指的是你有多少台zookeeper,每台zookeeper的服务器主机名叫什么以及相应的端口
    #服务器名称与地址,包括服务器编号,地址,leader与follower通讯端口,选举端口等
    server.1=hadoop:2888:3888
    View Code

    4.在dataDir目录下生成myid文件
    myid文件告诉zookeeper我是该集群中的第几号机器,然后在myid文件中从1开始填入对应的数字

    [root@hadoop conf]# echo 1 > /usr/local/zookeeper/data/myid #单机模式只有一台机器,故它是集群中的1号机器

    5.开启zookeeper集群节点

    [root@hadoop conf]# zkServer.sh start
    ZooKeeper JMX enabled by default
    Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
    Starting zookeeper ... STARTED

    6.检查集群状态或者节点角色

    [root@hadoop conf]# jps #出现QuorumPeerMain代表zookeeper正常运转
    116422 Jps
    116254 QuorumPeerMain
    
    [root@hadoop conf]# zkServer.sh status #单机模式,只有一种角色standalone
    ZooKeeper JMX enabled by default
    Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
    Mode: standalone

    7.关闭zookeeper集群节点

    [root@hadoop conf]# zkServer.sh stop
    ZooKeeper JMX enabled by default
    Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
    Stopping zookeeper ... STOPPED
    
    [root@hadoop conf]# jps
    116564 Jps
    
    [root@hadoop conf]# zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
    Error contacting service. It is probably not running.

    二 伪集群模式

    伪集群模式就是在同一主机启动多个zookeeper并组成集群,下边以在hadoop主机上创建3个zookeeper组集群为例。

    1.将通过单机模式安装的zookeeper,复制成zoo1/zoo2/zoo3三份

    [root@hadoop ~]# mkdir /zoo
    [root@hadoop ~]# cp -r /usr/local/zookeeper /zoo/zoo1
    [root@hadoop ~]# cp -r /usr/local/zookeeper /zoo/zoo2
    [root@hadoop ~]# cp -r /usr/local/zookeeper /zoo/zoo3
    [root@hadoop ~]# cd /zoo/
    [root@hadoop zoo]# ls
    zoo1  zoo2  zoo3

    2.分别修改3个节点的配置文件

    [root@hadoop zoo]# vi /zoo/zoo1/conf/zoo.cfg #节点1
    dataDir=/zoo/zoo1/data 
    dataLogDir=/zoo/zoo1/data/log
    clientPort=2181 
    #由于我们用的同一个主机hadoop,为了防止端口冲突,设置端口号均不同
    #如果是3个节点分别在3台机器上,端号可以一样
    #此处主机名hadoop也可以写成主机IP地址
    server.1=hadoop:2888:3888
    server.2=hadoop:4888:5888
    server.3=hadoop:6888:7888
    
    [root@hadoop zoo]# vi /zoo/zoo2/conf/zoo.cfg #节点2
    dataDir=/zoo/zoo2/data 
    dataLogDir=/zoo/zoo2/data/log
    clientPort=2281 
    server.1=hadoop:2888:3888
    server.2=hadoop:4888:5888
    server.3=hadoop:6888:7888
    
    [root@hadoop zoo]# vi /zoo/zoo3/conf/zoo.cfg #节点3
    dataDir=/zoo/zoo3/data 
    dataLogDir=/zoo/zoo3/data/log
    clientPort=2381 
    server.1=hadoop:2888:3888
    server.2=hadoop:4888:5888
    server.3=hadoop:6888:7888

    3.分别修改3个节点的myid文件

    [root@hadoop zoo]# echo 1 > /zoo/zoo1/data/myid
    [root@hadoop zoo]# echo 2 > /zoo/zoo2/data/myid
    [root@hadoop zoo]# echo 3 > /zoo/zoo3/data/myid

    4.依次启动3个zookeeper集群节点
    由于没加环境变量,启动方式为$ZOO_HOME/bin/zkServer.sh start

    [root@hadoop /]# /zoo/zoo1/bin/zkServer.sh start #启动节点1
    ZooKeeper JMX enabled by default
    Using config: /zoo/zoo1/bin/../conf/zoo.cfg
    Starting zookeeper ... STARTED
    
    [root@hadoop /]# jps #1个QuorumPeerMain代表1个节点启动成功
    QuorumPeerMain
    Jps
    
    [root@hadoop /]# /zoo/zoo1/bin/zkServer.sh status #此时节点1是LOOKING状态
    ZooKeeper JMX enabled by default
    Using config: /zoo/zoo1/bin/../conf/zoo.cfg
    Error contacting service. It is probably not running.
    
    
    [root@hadoop /]# /zoo/zoo2/bin/zkServer.sh start #启动节点2
    ZooKeeper JMX enabled by default
    Using config: /zoo/zoo2/bin/../conf/zoo.cfg
    Starting zookeeper ... STARTED
    
    [root@hadoop /]# jps #2个QuorumPeerMain代表2个节点启动成功
    QuorumPeerMain
    Jps
    QuorumPeerMain
    
    [root@hadoop /]# /zoo/zoo2/bin/zkServer.sh status #通过选举节点2为leader
    ZooKeeper JMX enabled by default
    Using config: /zoo/zoo2/bin/../conf/zoo.cfg
    Mode: leader
    [root@hadoop /]# /zoo/zoo1/bin/zkServer.sh status #节点1为follower
    ZooKeeper JMX enabled by default
    Using config: /zoo/zoo1/bin/../conf/zoo.cfg
    Mode: follower
    
    
    [root@hadoop /]# /zoo/zoo3/bin/zkServer.sh start #启动节点3
    ZooKeeper JMX enabled by default
    Using config: /zoo/zoo3/bin/../conf/zoo.cfg
    Starting zookeeper ... STARTED
    
    [root@hadoop /]# jps #3个QuorumPeerMain代表3个节点启动成功
    QuorumPeerMain
    Jps
    QuorumPeerMain
    QuorumPeerMain
    
    [root@hadoop /]# 
    [root@hadoop /]# /zoo/zoo3/bin/zkServer.sh status #leader已被选举出来,节点3只能当follower了
    ZooKeeper JMX enabled by default
    Using config: /zoo/zoo3/bin/../conf/zoo.cfg
    Mode: follower
    [root@hadoop /]# /zoo/zoo1/bin/zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /zoo/zoo1/bin/../conf/zoo.cfg
    Mode: follower
    [root@hadoop /]# /zoo/zoo2/bin/zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /zoo/zoo2/bin/../conf/zoo.cfg
    Mode: leader
    View Code

    5.如何同时关闭zookeeper所有节点?

    [root@hadoop data]# kill -9 `ps -ef|grep zookeeper|awk '{print $2}'` #杀死进程 
    #注意:单引号外面的一层是反引号(Tab上面的那个键),用于命令嵌套
    -bash: kill: (119807) - No such process [root@hadoop data]# ps -ef|grep zookeeper #查看进程 root 119821 111007 0 05:29 pts/1 00:00:00 grep --color=auto zookeeper

    三 集群模式

    集群模式就是在不同主机上安装zookeeper然后组成集群的模式。安装方式与伪集群模式类似。下边以在hadoop/hadoop2/hadoop3三台主机上安装为例。

    1.首先在hadoop主机上以单机模式安装zookeeper,然后将其打包复制到另外两台主机hadoop2和hadoop3上,并都解压到同样的目录下。

    2.分别修改3个节点的配置文件

    [root@hadoop ~]# vi /usr/local/zookeeper/conf/zoo.cfg #节点1,2,3均修改如下
    #对于节点1,2,3,由于安装目录都一样,所以dataDir和dataLogDir不需要改变
    #节点1,2,3分别在不同机器上,所以clientPort也不需要改变
    dataDir=/usr/local/zookeeper/data
    dataLogDir=/usr/local/zookeeper/data/log 
    clientPort=2281 
    #3个节点分别在3台机器上,端号可以一样
    server.1=hadoop:2888:3888
    server.2=hadoop2:2888:3888
    server.3=hadoop3:2888:3888

    3.分别修改3个节点的myid文件。3个节点的myid文件分别写入1,2,3,方法参考伪集群模式

    附myid数字生成法(我没用这个脚本执行,大家感兴趣可以尝试)

    #!/bin/bash
    #在执行该脚本前,请确保zookeeper已经复制到各个节点服务器上
    i=1
    for j in `sed '1,2d' /etc/hosts|awk '{print $1}'`
    do
    ssh $j "echo $i > /usr/local/zookeeper/data/myid"
    i=$(($i+1))
    echo $i
    done 
    View Code

    4.分别启动3个zookeeper集群节点,方法参考伪集群模式

    附zookeeper状态脚本

    [root@hadoop ~]# cd /usr/local/zookeeper/bin/
    [root@hadoop bin]# vi zoo_status.sh
    #!/bin/bash
    for i in `cat /etc/hosts|awk '{print $2}' | grep -v localhost`
    do
    ssh $i << EOF
    zkServer.sh status
    EOF
    done
    [root@hadoop bin]# chmod 777 zoo_status.sh 
    [root@hadoop bin]# zoo_status.sh 
  • 相关阅读:
    DAY 169 创建虚拟环境05
    DAY 168 创建虚拟环境04
    DAY 167 创建虚拟环境03
    DAY 166 创建虚拟环境02
    java 内存区域
    java 内存机制
    JAVA GC
    JAVA根搜索算法
    mysql ---事务
    java lock -----锁
  • 原文地址:https://www.cnblogs.com/zhengna/p/9327257.html
Copyright © 2020-2023  润新知