zookeeper简单介绍
zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的Hadoop项目的一个子项目,并根据google发表的一篇论文来实现的。zookeeper为分布式系统提供了高笑且易于使用的协同服务,它可以为分布式应用提供相当多的服务,诸如统一命名服务,配置管理,状态同步和组服务等。zookeeper接口简单,我们不必过多地纠结在分布式系统编程难于处理的同步和一致性问题上,你可以使用zookeeper提供的现成(off-the-shelf)服务来实现来实现分布式系统额配置管理,组管理,Leader选举等功能。
zookeeper集群搭建
首先需要安装java环境(这里不详细写)
zookeeper集群的安装,准备三台服务器server1:192.168.94.132,server2:192.168.94.131,server3:192.168.94.130
- 下载zookeeper
到http://zookeeper.apache.org/releases.html去下载最新版本 - 解压
tar -zxvf zookeeper-3.4.12.tar.gz
解压完成后在目录~下会发现多出一个目录zookeeper-3.4.12,重新命令为zookeeper
- 配置
将conf/zoo_sample.cfg拷贝一份命名为zoo.cfg,也放在conf目录下。然后按照如下值修改其中的配置:
>zoo.cfg
cat >zoo.cfg<<EOF
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/zkdata
dataLogDir=/data/zookeeper/zkdatalog
clientPort=12181
server.1=192.168.94.132:12888:13888
server.2=192.168.94.131:12888:13888
server.3=192.168.94.130:12888:13888
EOF
-
解释说明
tickTime:这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。
dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。
clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。默认是2181
initLimit:这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 5个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 52000=10 秒
syncLimit:这个配置项标识 Leader 与Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是22000=4 秒
server.A=B:C:D:- 其中 A 是一个数字,表示这个是第几号服务器;
- B 是这个服务器的 ip 地址;
- C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;
- D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号dataDir,dataLogDir目录开始是不存在,需要使用mkdir命令创建相应的目录。并且在该目录下创建文件myid,该文件内容分别为1,2,3。
-
创建myid文件
在三个linux机器上刚刚创建的data目录下新建一个myid文件并打开
132 上 echo "1" >myid 与server.1保持一致
131 上 echo "2" >myid 与server.2保持一致
130 上 echo "3" >myid 与server.3保持一致
- 启动
依次启动server1,server2,server3的zookeeper
/usr/local/zookeeper/bin/zkServer.sh start
输出
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
检查看是否启动
ps -ef|grep zookeeper
查看状态(在每个服务器上执行0
/usr/local/zookeeper/bin/zkServer.sh status
输出状态是leader或者follower
测试zookeeper是否正常工作,在server1上执行以下命令
在其中一个server上执行
/usr/local/zookeeper/bin/zkCli.sh -server 192.168.94.132:12181
输出
2019-04-06 05:44:31,475 [myid:] - INFO [main:Environment@100] - Client environment:user.home=/root
2019-04-06 05:44:31,475 [myid:] - INFO [main:Environment@100] - Client environment:user.dir=/usr/local/zookeeper/bin
2019-04-06 05:44:31,477 [myid:] - INFO [main:ZooKeeper@441] - Initiating client connection, connectString=192.168.94.132:12181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@69d0a921
Welcome to ZooKeeper!
JLine support is enabled
2019-04-06 05:44:31,576 [myid:] - INFO [main-SendThread(192.168.94.132:12181):ClientCnxn$SendThread@1028] - Opening socket connection to server 192.168.94.132/192.168.94.132:12181. Will not attempt to authenticate using SASL (unknown error)
2019-04-06 05:44:31,866 [myid:] - INFO [main-SendThread(192.168.94.132:12181):ClientCnxn$SendThread@878] - Socket connection established to 192.168.94.132/192.168.94.132:12181, initiating session
[zk: 192.168.94.132:12181(CONNECTING) 0] 2019-04-06 05:44:31,938 [myid:] - INFO [main-SendThread(192.168.94.132:12181):ClientCnxn$SendThread@1302] - Session establishment complete on server 192.168.94.132/192.168.94.132:12181, sessionid = 0x1000004a7db0000, negotiated timeout = 30000
WATCHER::
WatchedEvent state:SyncConnected type:None path:null
这里集群搭建完毕
可以用“jps”查看zk的进程,这个是zk的整个工程的main
[root@localhost bin]# jps
1732 QuorumPeerMain
1881 Jps
参考:https://www.cnblogs.com/luotianshuai/p/5206662.html