Zookeeper分享

 

Zookeeper:

是一个分布式的,为分布式应用提供数据一致性服务的程序.

Zookeeper是怎么来的?

分布式系统：是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统。

在这个消息传递的过程中遇到的问题:传输中数据被篡改,数据丢失处理,数据超时处理,数据的事务控制,可以统称为数据的一致性问题.

解决分布式系统中数据传输的一致性问题的理论基础:CAID，CAP（一致性，可用性，分区容错性）,BASE等一致性方面的理论

结合理论基础,演变出分布式数据一致性协议算法,如2PC,3PC，Raft ，Paxos算法等.

解决消息传递过程中的两个问题:

1，消息传递中的消息篡改，消息容错机制

拜占庭将军问题：

      拜占庭帝国有许多支军队，不同军队的将军之间必须制定一个统一的行动计划，从而做出进攻或者撤退的决定，同时，各个将军在地理上都是被分隔开来的，只能依靠军队的通讯员来进行通讯。然而，在所有的通讯员中可能会存在叛徒，这些叛徒可以任意篡改消息，从而达到欺骗将军的目的。

解决方式:比如系统中的数字签名,数据加密

2，消息在分布式中的数据一致性问题

故事描述一致性遇到的问题：

在古希腊有一个Paxos小岛，岛上以议会的形式通过法令。议会中的议员通过信使传递消息，议员和信使都是兼职的，随时可能离开议会厅，并且信使可能重复投递消息，也可能一去不返。议会协议要保证在这种情况下法令仍然能够正确的产生，并且不会出现冲突。

故事来自于Paxos算法论文,该论文通篇用故事的形式讲述了小岛议会是如何解决这个问题的.

基于算法的应用实践：

Google Chubby：分布式锁服务，以Paxos算法为基础

雅虎  ZooKeeper: 分布式协调服务 ， 以ZAB算法为基础

Zookeeper介绍

官网：http://zookeeper.apache.org/

源码地址： https://github.com/apache/zookeeper

Zookeeper提供的特性：

1，         顺序一致性 ：同一个客户端连续的请求能够被ZooKeeper顺序的处理，尤其是写命令的顺序执行

2，         原子性  ：Zookeeper集群上的数据操作具有原子性

3，         单一视图 ：Zookeeper集群上的数据一致

4，         可靠性：保证被修改的数据持久不变,提供了数据的可靠性

5，         实时性：Zookeeper仅仅能保证最终一致性，而不是实时的（CAP定理）

Zookeeper的几个基本概念：

1，         集群：zookeeper采用leader(写)，follower(读,推举leader)，observer(读)的方式实现集群

2，         会话：客户端与zookeeper的连接会话

3，         数据节点：树形结构的节点，每个节点可以存储信息

4，         版本：每个节点维护的版本信息

5，         事件监听器：可以为用户在节点上注册事件，节点改动触发注册的事件(监听者模式)

6，         ACL：权限控制，控制节点操作访问的权限

应用场景:

在分布式的场景中,Zookeeper可应用于数据发布/订阅，负载均衡，命名服务，分布式协调/通知，集群管理等。

Zookeeper使用

下载地址：http://zookeeper.apache.org/releases.html

要求:

JAVA1.6+

系统多平台支持

目录解释

支持三种模式：单机模式，集群模式，伪集群模式

配置文件:

tickTime=2000 : 服务器或者客户端与服务器之间维持心跳的时间间隔

dataDir=/var/lib/zookeeper : 数据存放目录

clientPort=2181 : 监听的端口

dataLogDir=E:\test-tool\zookeeper-3.4.8\log : 日志目录

集群相关配置

initLimit=5  : 集群初始化连接超时时间

syncLimit=2  ：集群心跳超时时间

server.1=127.0.0.1:2888:3888 

server.2=127.0.0.2:2888:3888

IP:程序通讯监听端口:选举端口

当使用集群模式时

在DataDir目录下创建myid文件，里面是集群编号

单机模式配置：

tickTime=2000

dataDir=/var/lib/zookeeper

clientPort=2181

dataLogDir=E:\test-tool\zookeeper-3.4.8\log initLimit=5

syncLimit=2 

server.1=127.0.0.1:2888:3888 

集群模式配置：

tickTime=2000

dataDir=/var/lib/zookeeper

clientPort=2181

dataLogDir=E:\test-tool\zookeeper-3.4.8\log initLimit=5

syncLimit=2 

server.1=127.0.0.1:2888:3888 

server.2=127.0.0.2:2888:3888

 

伪集群模式配置：

tickTime=2000

dataDir=/var/lib/zookeeper

clientPort=2181

dataLogDir=E:\test-tool\zookeeper-3.4.8\log initLimit=5

syncLimit=2 

server.1=127.0.0.1:2888:3888

server.2=127.0.0.1:2889:3889     //多进程运作

启动方式有两种：

1，         bin脚本

2，         jar包Main方法

命令解释：

zkCleanup：清理ZooKeeper历史数据，包括shiwu日志文件和快照数据文件

zkCli：ZooKeeper的一个简易客户端，可以做一些简易操作

zkEnv：设置ZooKeeper的环境变量

zkServer：ZooKeeper服务器的启动，停止和重启脚本

启动：zkServer.Sh

停止：zkServer.sh  stop

客户端连接：zkCli –server ip：port

zkCli操作Zookeeper基本命令：

（1）创建节点

Create [-s] [-e] path data acl

  -s顺序   -e临时节点   path节点路径和名称   data节点存储的数据    acl权限控制

（2）列出节点列表

ls path [watch]

path节点路径和名称  watch事件监听器

（3）查看节点数据和信息

get path [watch]

(4)设置节点数据

get path data [version]

(5)删除

Delete path [version]

查看日志

基于Zookeeper API的开发提供了更加丰富的接口,如创建会话,创建节点,删除节点,读取数据,更新数据,检测节点是否存在,权限控制,事件监听等

对zookeeper API封装的工具,他们提供了更方便的调用方式：

Zkclient：地址https://github.com/sgroschupf/zkclient

Curator：地址https://github.com/Netflix/curator

Dubbo如何在zookeeper上工作

 

Zookeeper在Dubbo的整个体系中充当服务注册中心的作用.

通常的服务注册中心可以有多种形式去实现,比如:数据库,zookeeper,redis,文件系统等

Dubbo数据信息在Zookeeper中的存储方式:

 

/dubbo dubbo根节点

/dubbo/com.foo.BarService 服务节点

/dubbo/com.foo.BarService/providers 提供者根节点

/dubbo/com.foo.BarService/consumers 消费者根节点

1,服务提供者

在/dubbo/com.foo.BarService/providers节点下创建提供者节点

2,服务消费者

在/dubbo/com.foo.BarService/consumers节点下创建提供者节点

注册与消费过程:

1,dubbo服务提供者启动,向Zookeeper上的提供者根节点下创建服务提供临时节点,包括地址类型等信息

2,dubbo服务消费者启动,向Zookeeper请求服务提供列表,并向服务消费根节点下创建消费者临时节点

3,启动dubbo监控中心,向Zookeeper中获取提供者与消费者的节点列表,并在节点上注册事件监听器进行变化监控.