• zookeeper分布式锁


    转自:https://blog.csdn.net/sunfeizhi/article/details/51926396

    左边的整个区域表示一个Zookeeper集群,locker是Zookeeper的一个持久节点,node_1、node_2、node_3是locker这个持久节点下面的临时顺序节点。client_1、client_2、client_n表示多个客户端,Service表示需要互斥访问的共享资源。

    分布式锁获取思路

      获取分布式锁的总体思路

     在获取分布式锁的时候在locker节点下创建临时顺序节点,释放锁的时候删除该临时节点。

    客户端调用createNode方法在locker下创建临时顺序节点,然后调用getChildren(“locker”)来获取locker下面的所有子节点,注意此时不用设置任何Watcher。

    客户端获取到所有的子节点path之后,如果发现自己在之前创建的子节点序号最小,那么就认为该客户端获取到了锁。如果发现自己创建的节点并非locker所有子节点中最小的,说明自己还没有获取到锁,此时客户端需要找到比自己小的那个节点,然后对其调用exist()方法,同时对其注册事件监听器。之后,让这个被关注的节点删除,则客户端的Watcher会

    收到相应通知,此时再次判断自己创建的节点是否是locker子节点中序号最小的,如果是则获取到了锁,如果不是则重复以上步骤继续获取到比自己小的一个

    节点并注册监听。当前这个过程中还需要许多的逻辑判断。
    获取分布式锁的核心算法流程

    客户端A要获取分布式锁的时候首先到locker下创建一个临时顺序节点(node_n),然后立即获取locker下的所有(一级)子节点。

    此时因为会有多个客户端同一时间争取锁,因此locker下的子节点数量就会大于1。对于顺序节点,特点是节点名称后面自动有一个数字编号,

    先创建的节点数字编号小于后创建的,因此可以将子节点按照节点名称后缀的数字顺序从小到大排序,这样排在第一位的就是最先创建的顺序节点,

    此时它就代表了最先争取到锁的客户端!此时判断最小的这个节点是否为客户端A之前创建出来的node_n,如果是则表示客户端A获取到了锁,

    如果不是则表示锁已经被其它客户端获取,因此客户端A要等待它释放锁,也就是等待获取到锁的那个客户端B把自己创建的那个节点删除。

    此时就通过监听比node_n次小的那个顺序节点的删除事件来知道客户端B是否已经释放了锁,如果是,此时客户端A再次获取locker下的所有子节点,

    再次与自己创建的node_n节点对比,直到自己创建的node_n是locker的所有子节点中顺序号最小的,此时表示客户端A获取到了锁!

    基于Zookeeper的分布式锁的代码实现

    定义分布式锁接口

    public  interface DistributedLock {
    
      
    
               /**获取锁,如果没有得到就等待*/
    
               public  void acquire()  throws Exception;
    
               /**
    
                * 获取锁,直到超时
    
                * @param time超时时间
    
                * @param unit time参数的单位
    
                * @return是否获取到锁
    
                * @throws Exception
    
                */
    
                public  boolean acquire (long time, TimeUnit unit)  throws Exception;
    
      
                /**
    
                 * 释放锁
    
                 * @throws Exception
    
                 */
    
                public  void release()  throws Exception;
    
    }

    定义一个简单的互斥锁

    定义一个互斥锁类,实现以上定义的锁接口,同时继承一个基类BaseDistributedLock,该基类主要用于与Zookeeper交互,包含一个尝试获取锁的方法和一个释放锁。

    /**锁接口的具体实现,主要借助于继承的父类BaseDistributedLock来实现的接口方法
    
     * 该父类是基于Zookeeper实现分布式锁的具体细节实现*/
    
    public  class SimpleDistributedLockMutex  extends BaseDistributedLock  implements  DistributedLock {
    
         /*用于保存Zookeeper中实现分布式锁的节点,如名称为locker:/locker,
    
        *该节点应该是持久节点,在该节点下面创建临时顺序节点来实现分布式锁 */
    
       private  final String  basePath;
     
    
       /*锁名称前缀,locker下创建的顺序节点例如都以lock-开头,这样便于过滤无关节点
    
        *这样创建后的节点类似:lock-00000001,lock-000000002*/
    
       private  staticfinal String  LOCK_NAME ="lock-";
      
    
       /*用于保存某个客户端在locker下面创建成功的顺序节点,用于后续相关操作使用(如判断)*/
    
       private String  ourLockPath;   
    
       /**
    
        * 用于获取锁资源,通过父类的获取锁方法来获取锁
    
        * @param time获取锁的超时时间
    
        * @param unit time的时间单位
    
        * @return是否获取到锁
    
        * @throws Exception
    
        */
    
        private  boolean internalLock (long time, TimeUnit unit)  throws  Exception {
    
           //如果ourLockPath不为空则认为获取到了锁,具体实现细节见attemptLock的实现
    
           ourLockPath = attemptLock(time, unit);
    
            return  ourLockPath !=null;
    
        }
    
        /**
    
         * 传入Zookeeper客户端连接对象,和basePath
    
         * @param client Zookeeper客户端连接对象
    
         * @param basePath basePath是一个持久节点
    
         */
    
        public SimpleDistributedLockMutex(ZkClientExt client, String basePath){
    
           /*调用父类的构造方法在Zookeeper中创建basePath节点,并且为basePath节点子节点设置前缀
    
           *同时保存basePath的引用给当前类属性*/
    
           super(client,basePath,LOCK_NAME);
    
           this.basePath = basePath;
    
        }
    
        /**获取锁,直到超时,超时后抛出异常*/
    
       public  void acquire() throws Exception {
    
          //-1表示不设置超时时间,超时由Zookeeper决定
    
            if (!internalLock(-1,null)){
    
                throw new IOException("连接丢失!在路径:'"+basePath+"'下不能获取锁!");
    
            }
    
       }  
    
       /**
    
        * 获取锁,带有超时时间
    
        */
    
       public boolean acquire(long time, TimeUnit unit) throws Exception {
    
          return internalLock(time, unit);
    
       }
    
       /**释放锁*/
    
       public void release()throws Exception {
    
          releaseLock(ourLockPath);
    
       }
    
    }

    分布式锁的实现细节

    获取分布式锁的重点逻辑在于BaseDistributedLock,实现了基于Zookeeper实现分布式锁的细节。

    public class BaseDistributedLock {
        
        private final ZkClientExt client;
        private final String  path;
        private final String  basePath;
        private final String  lockName;
        private static final Integer  MAX_RETRY_COUNT = 10;
            
        public BaseDistributedLock(ZkClientExt client, String path, String lockName){
            this.client = client;
            this.basePath = path;
            this.path = path.concat("/").concat(lockName);        
            this.lockName = lockName;
        }
        
        private void deleteOurPath(String ourPath) throws Exception{
            client.delete(ourPath);
        }
        
        private String createLockNode(ZkClient client,  String path) throws Exception{
            return client.createEphemeralSequential(path, null);
        }
        
        /**
         * 获取锁的核心方法
         * @param startMillis
         * @param millisToWait
         * @param ourPath
         * @return
         * @throws Exception
         */
        private boolean waitToLock(long startMillis, Long millisToWait, String ourPath) throws Exception{
            
            boolean  haveTheLock = false;
            boolean  doDelete = false;
            
            try{
                while ( !haveTheLock ) {
                    //该方法实现获取locker节点下的所有顺序节点,并且从小到大排序 
                    List<String> children = getSortedChildren();
                    String sequenceNodeName = ourPath.substring(basePath.length()+1);
                    
                    //计算刚才客户端创建的顺序节点在locker的所有子节点中排序位置,如果是排序为0,则表示获取到了锁
                    int ourIndex = children.indexOf(sequenceNodeName);
                    
                    /*如果在getSortedChildren中没有找到之前创建的[临时]顺序节点,这表示可能由于网络闪断而导致
                     *Zookeeper认为连接断开而删除了我们创建的节点,此时需要抛出异常,让上一级去处理
                     *上一级的做法是捕获该异常,并且执行重试指定的次数 见后面的 attemptLock方法  */
                    if ( ourIndex<0 ){
                        throw new ZkNoNodeException("节点没有找到: " + sequenceNodeName);
                    }
    
                    //如果当前客户端创建的节点在locker子节点列表中位置大于0,表示其它客户端已经获取了锁
                    //此时当前客户端需要等待其它客户端释放锁,
                    boolean isGetTheLock = ourIndex == 0;
                    
                    //如何判断其它客户端是否已经释放了锁?从子节点列表中获取到比自己次小的哪个节点,并对其建立监听
                    String  pathToWatch = isGetTheLock ? null : children.get(ourIndex - 1);
    
                    if ( isGetTheLock ){
                        haveTheLock = true;
                    }else{
                        //如果次小的节点被删除了,则表示当前客户端的节点应该是最小的了,所以使用CountDownLatch来实现等待
                        String  previousSequencePath = basePath .concat( "/" ) .concat( pathToWatch );
                        final CountDownLatch    latch = new CountDownLatch(1);
                        final IZkDataListener previousListener = new IZkDataListener() {
                            
                            //次小节点删除事件发生时,让countDownLatch结束等待
                            //此时还需要重新让程序回到while,重新判断一次!
                            public void handleDataDeleted(String dataPath) throws Exception {
                                latch.countDown();            
                            }
                            
                            public void handleDataChange(String dataPath, Object data) throws Exception {
                                // ignore                                    
                            }
                        };
    
                        try{                  
                            //如果节点不存在会出现异常
                            client.subscribeDataChanges(previousSequencePath, previousListener);
                            
                            if ( millisToWait != null ){
                                millisToWait -= (System.currentTimeMillis() - startMillis);
                                startMillis = System.currentTimeMillis();
                                if ( millisToWait <= 0 ){
                                    doDelete = true;    // timed out - delete our node
                                    break;
                                }
    
                                latch.await(millisToWait, TimeUnit.MICROSECONDS);
                            }else{
                                latch.await();
                            }
                            
                        }catch ( ZkNoNodeException e ){
                            //ignore
                        }finally{
                            client.unsubscribeDataChanges(previousSequencePath, previousListener);
                        }
                    }
                }
            }catch ( Exception e ){
                //发生异常需要删除节点
                doDelete = true;
                throw e;
                
            }finally{
                //如果需要删除节点
                if ( doDelete ){
                    deleteOurPath(ourPath);
                }
            }
            return haveTheLock;
        }    
        
        private String getLockNodeNumber(String str, String lockName) {
            int index = str.lastIndexOf(lockName);
            if ( index >= 0 ){
                index += lockName.length();
                return index <= str.length() ? str.substring(index) : "";
            }
            return str;
        }
        
        
        private List<String> getSortedChildren() throws Exception {
            try{
                List<String> children = client.getChildren(basePath);
                Collections.sort(
                    children,
                    new Comparator<String>(){
                        public int compare(String lhs, String rhs){
                            return getLockNodeNumber(lhs, lockName).compareTo(getLockNodeNumber(rhs, lockName));
                        }
                    }
                );
                return children;
                
            }catch(ZkNoNodeException e){
                client.createPersistent(basePath, true);
                return getSortedChildren();
            }
        }
            
        protected void releaseLock(String lockPath) throws Exception{
            deleteOurPath(lockPath);    
        }
        
        
        protected String attemptLock(long time, TimeUnit unit) throws Exception{
            final long      startMillis = System.currentTimeMillis();
            final Long      millisToWait = (unit != null) ? unit.toMillis(time) : null;
    
            String          ourPath = null;
            boolean         hasTheLock = false;
            boolean         isDone = false;
            int             retryCount = 0;
            
            //网络闪断需要重试一试
            while ( !isDone ){
                isDone = true;
    
                try{
                    //createLockNode用于在locker(basePath持久节点)下创建客户端要获取锁的[临时]顺序节点
                    ourPath = createLockNode(client, path);
                    /**
                     * 该方法用于判断自己是否获取到了锁,即自己创建的顺序节点在locker的所有子节点中是否最小
                     * 如果没有获取到锁,则等待其它客户端锁的释放,并且稍后重试直到获取到锁或者超时
                     */
                    hasTheLock = waitToLock(startMillis, millisToWait, ourPath);
                    
                }catch ( ZkNoNodeException e ){
                    if ( retryCount++ < MAX_RETRY_COUNT ){
                        isDone = false;
                    }else{
                        throw e;
                    }
                }
            }
            
            if ( hasTheLock ){
                return ourPath;
            }
            
            return null;
    }

         



  • 相关阅读:
    VUE脚手架,babel转码 常用命令
    ES6那些事半功倍的新特性(一)
    vuex中怎么把‘库’中的状态对象赋值给内部对象(三种方法)
    VUE自定义指令生命周期,VUE生命周期
    判断是数组还是对象的方法
    利用cordova打包H5混合app
    webstorm皮肤外观样式快速设置,CMD的使用方法,webstorm11激活方法
    数组操作方法中的splice()和concat() 以及slice()
    Angularjs跨域
    Node.js的基础知识(一)
  • 原文地址:https://www.cnblogs.com/dingpeng9055/p/11309514.html
Copyright © 2020-2023  润新知