摘要
Zookeeper是针对大型分布式系统的高可靠的协调系统。它基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题。把分布式集群当成zoo,那么zookeeper就是管理员。zookeeper本身也可以是个集群,通过几台follow机器选举leader。zookeeper的主要作用包括,命名服务,配置管理,分布式一致性锁,HA(High available)。真是因为zookeeper在分布式系统领域如此重要,可以说是基石,所以我们绕不开要学习其使用及原理。
本文基于Ubuntu 16.04 LTS,介绍如何搭建1主2从的zookeeper集群。
环境依赖
- 奇数台服务器,且非observer节点数>1;如果是偶数台服务器,可以把多出来的1台设置为observer
- Java 8+
- 防火墙开放2181、2888、3888端口:
ufw allow 2181
ufw allow 2888
ufw allow 3888
ufw reload
一、下载与解压ZooKeeper
1、下载
$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz
2、解压到指定位置
$ tar -zxvf apache-zookeeper-3.6.2-bin.tar.gz -C /usr/local
$ mv /usr/local/apache-zookeeper-3.6.2-bin /usr/local/zookeeper_3.6.2
$ cd /usr/local/zookeeper_3.6.2
二、配置文件
本小节先在服务器1
上进行配置,下一小节再通过scp将配置好的ZooKeeper分发到其他服务器上,减少重复工作。
1、创建配置文件
利用模板文件zoo_sample.cfg,通过拷贝创建配置文件zoo.cfg
$ cd /usr/local/zookeeper_3.6.2/conf
$ cp zoo_sample.cfg zoo.cfg
2、创建数据目录
$ mkdir /usr/local/zookeeper_3.6.2/data
3、修改配置文件dataDir
$ vim /usr/local/zookeeper_3.6.2/conf/zoo.cfg
#修改dataDir为如下内容
dataDir=/usr/local/zookeeper_3.6.2/data
4、添加server.id
$ vim /usr/local/zookeeper_3.6.2/conf/zoo.cfg
# 添加如下内容:
server.1=192.168.1.113:2888:3888
server.2=192.168.1.114:2888:3888
server.3=192.168.1.115:2888:3888
# server.id=zookeeper节点主机名 或 主机ip:2888:3888 选举端口和投票端口固定
# 如果有四台zookeeper的话,由于非observer节点数必须为奇数个
# 所以如果有第四台的话,可以使用如下添加方式:
# server.4=xx.xx.xx.xx:2888:3888:observer
# id是自己定义的,0~255间,不必一次递增,自己定即可,id表示该节点所持有的投票编号id,必需保证全局唯一
注意:不要在配置后面加注释#,这会导致cfg文件解析失败!从而导致zookeeper无法正常启动!
server.A=B:C:D
中各参数解析如下:
A:其中 A 是一个数字,表示这个是服务器的编号;
B:是这个服务器的 ip 地址 或 主机名;
C:Leader选举的端口;
D:Zookeeper服务器之间的通信端口。
5、创建myid文件
在dataDir目录下创建myid文件
机器192.168.1.113
上:
$ vim /usr/local/zookeeper_3.6.2/data/myid
#输入server.1=192.168.1.113:2888:3888所指定的id:1
1
机器192.168.1.114
上:
$ vim /usr/local/zookeeper_3.6.2/data/myid
#输入server.1=192.168.1.114:2888:3888所指定的id:2
2
机器192.168.1.115
上:
$ vim /usr/local/zookeeper_3.6.2/data/myid
#输入server.1=192.168.1.115:2888:3888所指定的id:3
3
三、将ZooKeeper分发到各个节点
$ cd /usr/local/
$ scp -r zookeeper_3.6.2 root@192.168.1.114:/usr/local/
$ scp -r zookeeper_3.6.2 root@192.168.1.115:/usr/local/
四、配置环境变量
需要再各个服务器上进行配置:
vim /etc/profile
#添加如下内容
export ZOOKEEPER_HOME=/usr/local/zookeeper_3.6.2
export PATH=$ZOOKEEPER_HOME/bin:$PATH
#激活环境变量
source /etc/profile
五、启动zkServer
在所有节点上启动zkServer
$ zkServer.sh start
#输出如下:
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper_3.6.2/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
查看集群节点状态:
$ zkServer.sh status
#一个节点输出如下:
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper_3.6.2/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader
#另外两个节点输出如下:
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper_3.6.2/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
有一台服务器的zk Mode为leader
,另外两台服务器的zk Mode为follower
,如果配置了observer
节点,则会有一台服务器的zk Mode为observer
。
停止命令:
zkServer.sh stop
重启命令:
zkServer.sh restart
六、查看ZooKeeper日志
如果启动过程出现了failed,可通过查看详细日志进行分析:
$ cd /usr/local/zookeeper_3.6.2/logs
$ cat zookeeper-<somthing>.out
至此,ZooKeeper集群环境搭建结束。
参考
[1]Apache Zookeeper 集群的搭建[https://blog.csdn.net/qq_33713328/article/details/88854991]
[2]zookeeper 集群搭建[https://www.cnblogs.com/ysocean/p/9860529.html]
更多关于大数据、分布式、存储、区块链、Linux相关文章请关注我的微信公众号:asympTech渐进线实验室