• Zookeeper应用之——队列(Queue)


      为了在Zookeeper中实现分布式队列,首先需要设计一个znode来存放数据,这个节点叫做队列节点,我们的例子中这个节点是/zookeeper/queue。 生产者向队列中存放数据,每一个消息都是队列节点下的一个新节点,叫做消息节点。消息节点的命名规则为:queue-xxx,xxx是一个单调 递增的序列,我们可以在创建节点时指定创建模式为PERSISTENT_SEQUENTIAL来实现。这样,生产者不断的向队列节点中发送消息,消息为queue-xxx, 队列中,生产者这一端就解决了,我们具体看一下代码:

    Producer(生产者)

    public class Producer implements Runnable,Watcher {
    
        private ZooKeeper zk;
    
        public Producer(String address){
            try {
                this.zk = new ZooKeeper(address,3000,this);
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    
        @Override
        public void run() {
            int i = 0;
            //每隔10s向队列中放入数据
            while (true){
                try {
                    zk.create("/zookeeper/queue/queue-",(Thread.currentThread().getName()+"-"+i).getBytes(),
                            ZooDefs.Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT_SEQUENTIAL);
                    Thread.sleep(10000);
                    i++;
                } catch (KeeperException e) {
                    e.printStackTrace();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
        }
    
        @Override
        public void process(WatchedEvent event) {
        }
    }

    生产者每隔10s向队列中存放消息,消息节点的类型为PERSISTENT_SEQUENTIAL,消息节点中的数据为Thread.currentThread().getName()+”-“+i。

    消费者

    消费者从队列节点中获取消息,我们使用getChildren()方法获取到队列节点中的所有消息,然后获取消息节点数据,消费消息,并删除消息节点。 如果getChildren()没有获取到数据,说明队列是空的,则消费者等待,然后再调用getChildren()方法设置观察者监听队列节点,队列节点发生变化后 (子节点改变),触发监听事件,唤起消费者。消费者实现如下:

    public class Consumer implements Runnable,Watcher {
        private ZooKeeper zk;
        private List<String> children;
    
        public Consumer(String address){
            try {
                this.zk = new ZooKeeper(address,3000,this);
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    
        @Override
        public void run() {
            int i = 1;
            while (true){
                try {
                    //获取所有子节点
                    children = zk.getChildren("/zookeeper/queue", false);
                    int size = CollectionUtils.isEmpty(children) ? 0 : children.size();
                    System.out.println("第"+i+"次获取数据"+size+"条");
    
                    //队列中没有数据,设置观察器并等待
                    if (CollectionUtils.isEmpty(children)){
                        System.out.println("队列为空,消费者等待");
                        zk.getChildren("/zookeeper/queue", true);
                        synchronized (this){
                            wait();
                        }
                    }else {
                        //循环获取队列中消息,进行业务处理,并从结果集合中删除
                        Iterator<String> iterator = children.iterator();
                        while (iterator.hasNext()){
                            String childNode = iterator.next();
                            handleBusiness(childNode);
                            iterator.remove();
                        }
                    }
                } catch (KeeperException e) {
                    e.printStackTrace();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                i++;
            }
        }
    
        /**
         * 从节点获取数据,执行业务,并删除节点
         * @param childNode
         */
        private void handleBusiness(String childNode) {
            try {
                Stat stat = new Stat();
                byte[] data = zk.getData("/zookeeper/queue/"+childNode, false, stat);
                String str = new String(data);
                System.out.println("获取节点数据:"+str);
                zk.delete("/zookeeper/queue/"+childNode,-1);
            } catch (KeeperException e) {
                e.printStackTrace();
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
    
    
        }
    
        /**
         * 子节点发生变化,且取得结果为空时,说明消费者等待,唤起消费者
         * @param event
         */
        @Override
        public void process(WatchedEvent event) {
            if (event.getType().equals(Event.EventType.NodeChildrenChanged)){
                synchronized (this){
                    notify();
                }
            }
        }
    }

    上面的例子中有一个局限性,就是 消费者只能有一个 。队列的用户有两个:广播和队列。

    • 广播是所有消费者都拿到消息并消费,我们的例子在删除消息节点时,不能保证其他消费者都拿到了这个消息。
    • 队列是一个消息只能被一个消费者消费,我们的例子中,消费者获取消息时,并没有加锁。

    所以我们只启动一个消费者来演示,主函数如下:

    public class Application {
    
        private static final String ADDRESS = "149.28.37.147:2181";
    
        public static void main(String[] args) {
            //设置日志级别
            setLog();
    
            //启动一个消费者
            new Thread(new Consumer(ADDRESS)).start();
    
            //启动4个生产者
            ExecutorService es = Executors.newFixedThreadPool(4);
            for (int i=0;i<4;i++){
                es.execute(new Producer(ADDRESS));
            }
            es.shutdown();
    
        }
    
        /**
         * 设置log级别为Error
         */
        public static void setLog(){
            //1.logback
            LoggerContext loggerContext = (LoggerContext) LoggerFactory.getILoggerFactory();
            //获取应用中的所有logger实例
            List<Logger> loggerList = loggerContext.getLoggerList();
    
            //遍历更改每个logger实例的级别,可以通过http请求传递参数进行动态配置
            for (ch.qos.logback.classic.Logger logger:loggerList){
                logger.setLevel(Level.toLevel("ERROR"));
            }
        }
    }

    后台打印结果如下:

    第1次获取数据2条
    获取节点数据:pool-1-thread-4-118
    获取节点数据:pool-1-thread-1-0
    第2次获取数据3条
    获取节点数据:pool-1-thread-4-0
    获取节点数据:pool-1-thread-2-0
    获取节点数据:pool-1-thread-3-0
    第3次获取数据0条
    队列为空,消费者等待
    第4次获取数据4条
    获取节点数据:pool-1-thread-3-1
    获取节点数据:pool-1-thread-1-1
    获取节点数据:pool-1-thread-4-1
    获取节点数据:pool-1-thread-2-1

    Zookeeper实现队列就介绍完了,项目地址:https://github.com/liubo-tech/zookeeper-application

  • 相关阅读:
    ThinkPHP5 动态生成图片缩略图
    2020年python学习进阶方向
    2020年一线大厂月薪35K的Python开发要求
    swoole扩展怎么用
    如何在PHP框架里把Traits使用起来
    php与Redis实现一个100万用户的投票项目,如何实现实时查看投票情况?
    PHP高并发和大流量的解决方案
    phper使用MySQL 针对千万级的大表要怎么优化?
    swoole加密可破解吗
    轻松玩转windows之redis实战
  • 原文地址:https://www.cnblogs.com/boboooo/p/9259306.html
Copyright © 2020-2023  润新知