• 3.9-3.10 分布式协作服务框架Zookeeper


    一、zookeeper概述

    • 一个开源的分布式的,为分布式应用提供协调服务的Apache项目。
    • 提供一个简单的原语集合,以便于分布式应用可以在它之上构建更高层次的同步服务。
    • 设计非常易于编程,它使用的是类似于文件系统那样的树形数据结构。
    • 目的就是将分布式服务不再需要由于协作冲突而另外实现协作服务。
    Zk集群中最好配成奇数个节点,只要集群中有半数以上的节点存活,集群就能提供服务;

    1、zookeeper集群的角色:

               角色                                                     描述
    领导者(Leader)   领导者负责进行投票的发起和决议,更新系统状态;

         学习者
    (Learner)

         跟随者
    (Follower)

    Follower用于接收客户请求并向客户端返回结果,

    在选主过程中参与投票;

         学习者
    (Learner)

         观察者
    (ObServer)

    ObServer 可以接收客户端连接,将写请求转发给 leader节点。

    但observer不参加投票过程,只同步leader的状态。

    observer的目的是为了扩展系统,提高读取速度;

    客户端(Client)   请求发起方

    2、ZooKeeper典型应用场景

    a、

    Zookeeper从设计模式角度来看,是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,
    
    然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应,
    
    从而实现集群中类似Master/Slave 管理模式。

    b、

    >统一命名服务(Name Service)
    >配置管理(Configuration Management)
    >集群管理(Group Membership)
    >共享锁(Locks)/同步锁

    二、Zookeeper 单机模式安装

    1、安装

    1、安装JDK、配置环境变量、验证java-version(已安装)
    
    2、先停止服务hdfs、yarn
    [root@master hadoop-2.5.0]# sbin/stop-dfs.sh 
    [root@master hadoop-2.5.0]# sbin/stop-yarn.sh
    [root@slave1 hadoop-2.5.0]# sbin/yarn-daemon.sh stop resourcemanager    #slave1
    
    2、下载、赋执行权限、解压
        >下载地址:https://zookeeper.apache.org/
        >权限:chmod u+x zookeeper-3.4.5.tar.gz
        >解压:tar zxf zookeeper-3.4.5.tar.gz -C /opt/modules/
    
    
    3、配置
    rename配置文件:mv conf/zoo_sample.cfg conf/zoo.cfg
    
    配置数据存储目录:
        [root@master zookeeper-3.4.5]# pwd
        /opt/modules/zookeeper-3.4.5
    
        [root@master zookeeper-3.4.5]# mkdir -p ./data/zkData    #创建数据目录
    
        dataDir=/opt/modules/zookeeper-3.4.5/data/zkData    #写入配置文件
    
    4、启动
        >启动:bin/zkServer.sh start
        
        [root@master zookeeper-3.4.5]# jps
        9597 QuorumPeerMain
        9655 Jps
    
    5、检测
        >查看状态:bin/zkServer.sh status
    
        > bin/zkCli.sh    #进入客户端模式,类似于文件系统的操作

    2、Zookeeper 配置参数详解

    tickTime:这个时间是作为Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳。
    
    dataDir:顾名思义就是Zookeeper保存数据的目录,默认情况下,Zookeeper将写数据的日志文件也保存在这个目录里。
    
    clientPort:这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口,接受客户端的访问请求。
    
    Zookeeper Client命令讲解:
        >命令:bin/zkCli.sh -server localhost:2181
        >详解:ls、get、create、delete、set

    停止zookeeper:

    [root@master zookeeper-3.4.5]# bin/zkServer.sh stop

    三、Zookeeper 分布式安装

    1、master

    #
    [root@master softwares]# tar zxf zookeeper-3.4.5.tar.gz -C /opt/app/
    
    #
    [root@master zookeeper-3.4.5]# pwd
    /opt/app/zookeeper-3.4.5
    
    mv conf/zoo_sample.cfg conf/zoo.cfg
    
    [root@master zookeeper-3.4.5]# mkdir -p data/zkData
    
    #
    zoo.cfg
        dataDir=/opt/app/zookeeper-3.4.5/data/zkData        #修改此行
        
        #添加下面三行
        server.1=master:2888:3888
    
        server.2=slave1:2888:3888
    
        server.3=slave2:2888:3888
    
    #
    [root@master zkData]# pwd
    /opt/app/zookeeper-3.4.5/data/zkData
    
    [root@master zkData]# touch myid
    [root@master zkData]# vim myid     #写入1,1代表server的编号
    1

    2、同步目录到slave1 slave2

    #master
    [root@master app]# pwd
    /opt/app
    
    [root@master app]# scp -r zookeeper-3.4.5 root@slave1:/opt/app/
    [root@master app]# scp -r zookeeper-3.4.5 root@slave2:/opt/app/
    
    #slave1
    [root@slave1 hadoop-2.5.0]# cd /opt/app/zookeeper-3.4.5/data/zkData/
    [root@slave1 zkData]# vim myid 
    2
    
    #slave2
    [root@slave2 hadoop-2.5.0]# cd /opt/app/zookeeper-3.4.5/data/zkData/
    [root@slave2 zkData]# vim myid 
    3

    3、启动

    #master
    [root@master zookeeper-3.4.5]# bin/zkServer.sh start
    
    #slave1
    [root@slave1 zookeeper-3.4.5]# bin/zkServer.sh start
    
    #slave2
    [root@slave2 zookeeper-3.4.5]# bin/zkServer.sh start

    4、查看状态

    #master
    [root@master zookeeper-3.4.5]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/app/zookeeper-3.4.5/bin/../conf/zoo.cfg
    Mode: follower
    
    #slave1
    [root@slave1 zookeeper-3.4.5]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/app/zookeeper-3.4.5/bin/../conf/zoo.cfg
    Mode: leader
    
    #slave2
    [root@slave2 zookeeper-3.4.5]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/app/zookeeper-3.4.5/bin/../conf/zoo.cfg
    Mode: follower

    5、Zookeeper 配置参数详解续

    initLimit:
    这个配置项是用来配置Zookeeper接受客户端(这里所说的客户端不是用户连接Zookeeper服务器的客户端,
    而是Zookeeper服务器集群中连接到Leader的Follower服务器)初始化连接时最长能忍受多少个心跳时间间隔数。
    当已经超过10个心跳的时间(也就是tickTime)长度后Zookeeper服务器还没有收到客户端的返回信息,
    那么表明这个客户端连接失败。总的时间长度就是5*2000=10秒。
    
    
    syncLimit:
    这个配置项标识Leader与Follower之间发送消息,请求和应答时间长度,
    最长不能超过多少个tickTime的时间长度,总的时间长度就是2*2000=4秒。
    
    
    server.A=B:C:D:
    其中A是一个数字,表示这个是第几号服务器;B是这个服务器的ip地址;
    C表示的是这个服务器与集群中的Leader服务器交换信息的端口;
    D表示的是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,
    而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于B都是一样,
    所以不同的Zookeeper实例通信端口号不能一样,所以要给它们分配不同的端口号。
    
    
    myid
    集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面就有一个数据就是A的值,
    Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是那个server。
  • 相关阅读:
    UI Automation
    TextBlock can't be find in DataTemplate when use Coded UI Test
    windows Phone本地化
    需要反射时使用dynamic
    npm发包流程
    mockjs介绍
    oracle job不自动执行,手动可以执行
    第一章 线性结构顺序存储结构
    Java连接MySQL数据库
    阿里云服务器部署Java开发环境JDK和mysql
  • 原文地址:https://www.cnblogs.com/weiyiming007/p/10723323.html
Copyright © 2020-2023  润新知