• zookeeper简单学习


    今天引入zooKeeper,来解决一些问题

    首先还是那个问题?我们为啥学zooKeeper? 

    为了解决高可用性,保证出现故障正常使用,在hadoop中的namenode有第二备份,什么时候告诉客户端namenode变了,变成什么了,这时候就需要工具来进行协调

    为了再次解决高可用性,这个工具不能挂掉没人管,所以工具r中也有备份,那接下来就是备份数据恢复,谁能恢复的更快,谁就拥有更高的可用性

    Zookeeper就是其中的佼佼者,他能把这个数据同步的时间压缩的更短,请求响应更快。

    还可以这么理解:是一个基于观察者模式设计的分布式管理框架,负责存储和管理数据,接受观察者的注册,一但数据发生变化,zookeeper就会通知注册的观察者去做出相应的反应(注册的观察者就是hadoop中的客户机)

    简单来讲就是zookeeper在其中起协调作用,协调分布式系统,也就是hadoop


    借鉴柳树的文章,想深刻理解为啥学zookeeper的可以看一下  ------->  为啥需要zookeeper

    借鉴李狗蛋+1的文章,想zookeepe有更深刻的了解可以看看    --------->李狗蛋+1

    下面开始简单学习一下zookeeper

    1.zookeeper的简单介绍

    通过上面解释为啥要学zookeeper,我们知道了一些。zookeeper为了减轻构建健壮的分布式系统,分布式协调服务的开源框架,用来解决的是分布式集群中应用系统的一致性和单点故障问题。

    zookeeper以二进制存储,只能存放小量数据   最大2M左右,不能当数据库使用,但是可以放大数据的路径

    2.zookeeper的特性

    一致,可靠,顺序,原子(可能不太理解原子性,原子是不可再分的意思,指的就是事务请求要么成功,要么失败,不会出现那种成功但不完全成功,失败但不完全失败的情况)

    3.zookeeper集群中都有哪些角色

    1.Leader    一个集群中只有一个Leader,它是整个集群的核心,也是写操作(事务性请求)的唯一调度者和处理者(你想想看,如果所有人都能写,要多糟糕,一个人在A的地方写了个1,另一个人在A的地方写了个2,读的时候就会存在问题)

          所以同时leader还要保证顺序性,可以发起和参与投票(当然也能进行读操作)  一个集群中只能有一个leader节点

            简单讲就是:是核心,写操作(可能出现脏数据AB同时写),是大哥,保证集群事物处理顺序性,发起投票,唯一调度者

    2.Follower  负责读操作(非事务性操作),如果收到写操作,会发给leder,可以参与投票    几个集群中可以有多个follower节点  (对于什么是投票?下面的zookeeper的两个机制会进行说明)

          简单讲就是:读操作(如果有写操作,会发给大哥),参与投票

    3.Observer  观察者,观察集群的最新状态,并同步状态。与follower功能基本相同,就是不参与投票,独立处理读操作,、

        简单讲就是:观察,不参与竞争Leader

    (其实除了这些还有一个竞选状态)(想更深了解一些,可以看这篇文章----------->ZooKeeper的三种角色(还是不太理解的可以看一下)

    那这么看来boserver不多余吗????

    随着集群中 Follow 服务器的数量越来越多,一次写入等相关操作的投票也就变得越来越复杂,并且 Follow 服务器之间彼此的网络通信也变得越来越耗时,导致随着 Follow 服务器数量的逐步增加,事务性的处理性能反而变得越来越低。

    其实因为 Observer 不参与 Leader 节点等操作,并不会像 Follow 服务器那样频繁的与 Leader 服务器进行通信。因此,可以将 Observer 服务器部署在不同的网络区间中,这样也不会影响整个 ZooKeeper 集群的性能,也就是所谓的跨域部署。

    如果有人对这个问题还存在疑惑,可以看一下这篇文章---------------->集群中 Observer 的作用以及 与 Follow 的区别

     4.zookeeper集群中数据模型

      Zookeeper是由节点组成的树,树中的每个节点被称为—Znode。每个节点都可以拥有子节点。每一个Znode默认能够存储1MB的数据,每个Znode都可以通过其路径唯一标识,如图中第三层的第一个Znode,,它的路径是/app1/p_1。Zookeeper数据模型中每个Znode都是由三部分组成,分别是stat、data、children。

    统一命名服务:在分布式环境下 需要对服务进行统一的命名,便于识别

    统一配置管理:分布式环境下 配置文件同步非常常见 对配置文件修改后希望同步到各个节点上

    数据存储类似文件系统,就像/代表根目录,如/long/shi/san

    create /zk "test"  创建一个新的Znode节点“以及与他关联的字符串

    ls2/    查看数据及更新次数

     

    Znode的类型在创建时被指定,一旦创建就无法改变。Znode有两种类型,分别是临时节点和永久节点。

    临时节点:就是临时的,它们对所有的客户端还是可见的。(需要注意的是临时节点不允许拥有子节点)

    永久节点: 该生命周期不依赖于会话,并且只有在客户端显示执行删除操作的时候,它们才能被删除。(可以拥有子节点)

     5.zookeeper集群中两种机制

     第一种机制-------------->zookeeper的watcher机制

    Zookeeper允许客户端向服务端注册一个Watch监听,当服务端的一些事情触发这个监听,会实现分布式的通知功能。(系统更新,通知其他人)

    为啥要有这样的机制?是为了使系统知道namenode死了,使客户端知道secondary活了在哪。

    举个例子:晚上班主任要开会,班长A和所有同学B收到了通知,但是中途老师有事情开不了会了,老师想告诉你可是不认识你,只能让班长告诉所有同学(老师就是namenode,班长就是watchr,同学就是zookeeper)

    zookeeper集群是给我们提供服务的,可以提供计算服务(例如单词),而hadoop则是运用这种服务是可用性更高。

    同时还具有分布式通知功能  zookeeper允许客户端向服务端注册一个watch监听(可能有多个watch,不同的注册方式(借钱案例,保险公司案例))

    注意:要先注册watch才能触发

    第二种机制--------------->zookeeper的选举机制

    选举机制非常的神奇!!!

    Zookeeper为了保证各节点的协同工作,在工作时需要一个Leader角色,而Zookeeper默认采用FastLeaderElection算法,且投票数大于半数则胜出的机制。(所以说,理想的状态是奇数个机器,不然没法选)

    服务器ID: 设置集群myid参数时,参数分别为服务器1、服务器2、服务器3,编号越大FastLeaderElection算法中权重越大。

    数据ID: 是服务器中存放的最新数据版本号,该值越大则说明数据越新,在选举过程中数据越新权重越大。

    逻辑时钟: 逻辑时钟被称为投票次数,同一轮投票过程中逻辑时钟值相同,逻辑时钟起始值为0,每投一次票,数据增加。与接收到其它服务器返回的投票信息中数值比较,根据不同值做出不同判断。

     还有一些小问题:

    1.leader死掉后如何通知其他人?如何使其他人上位?

    2.客户端监听的这个Znode是必须是领导者吗?还是说可以是任意一个Znode?

    3.Zookeeper是适合安装奇数台服务器,还是只能安装奇数台服务器?

    自我回答:

    1.Ledaer死后,Zookeeper内部自动协调,根据权重产生新的Leader

    2.也就是说Hadoop中的namenode向zookeeper注册了一个znode,zookeeper中的一个服务不断监听这个zonde,客户端监听的znode不一定是领导者,就像上面说的,可以是追随者和观察者,只有当有写操作的时候才会把消息传给领导者

    3.适合安装,如果非要杠的话,也是可以安装偶数台的

    另外还看到一篇有关的有意思的文章分享给大家    -------->  面试官:zookeeper集群的leader挂了怎么办

  • 相关阅读:
    缓存
    java垃圾回收机制GC(Garbage Collection)
    设计模式之适配器模式
    数据的水平分片意义
    屏幕坏点简单检查方法(网页纯色检查)
    Mac OS X上如何实现到Linux主机的ssh免登陆[forward]
    25个必须记住的SSH命令[forward]
    资料链接整理
    JAVA学习网站收集
    详细介绍ORACLE sqlplus命令(转)
  • 原文地址:https://www.cnblogs.com/longshisan/p/14893405.html
Copyright © 2020-2023  润新知