• 《Scalable IO in Java》译文


    《Scalable IO in Java》 是java.util.concurrent包的作者,大师Doug Lea关于分析与构建可伸缩的高性能IO服务的一篇经典文章,在文章中Doug Lea通过各个角度,循序渐进的梳理了服务开发中的相关问题,以及在解决问题的过程中服务模型的演变与进化,文章中基于Reactor反应器模式的几种服务模型架构,也被Netty、Mina等大多数高性能IO服务框架所采用,因此阅读这篇文章有助于你更深入了解Netty、Mina等服务框架的编程思想与设计模式。

    下面是我对《Scalable IO in Java》原文核心内容的一个翻译,原文连接:http://gee.cs.oswego.edu/dl/cpjslides/nio.pdf

    一、网络服务

    在一般的网络或分布式服务等应用程序中,大都具备一些相同的处理流程,例如:

    ① 读取请求数据;

    ② 对请求数据进行解码;

    ③ 对数据进行处理;

    ④ 对回复数据进行编码;

    ⑤ 发送回复;

    当然在实际应用中每一步的运行效率都是不同的,例如其中可能涉及到xml解析、文件传输、web页面的加载、计算服务等不同功能。

    1、传统的服务设计模式

    在一般的网络服务当中都会为每一个连接的处理开启一个新的线程,我们可以看下大致的示意图:

     

    每一个连接的处理都会对应分配一个新的线程,下面我们看一段经典的Server端Socket服务代码:

    class Server implements Runnable {
            public void run() {
                try {
                    ServerSocket ss = new ServerSocket(PORT);
                    while (!Thread.interrupted())
                        new Thread(new Handler(ss.accept())).start();
                    // or, single-threaded, or a thread pool
                } catch (IOException ex) {
                    /* ... */ }
            }
    
            static class Handler implements Runnable {
                final Socket socket;
    
                Handler(Socket s) {
                    socket = s;
                }
    
                public void run() {
                    try {
                        byte[] input = new byte[MAX_INPUT];
                        socket.getInputStream().read(input);
                        byte[] output = process(input);
                        socket.getOutputStream().write(output);
                    } catch (IOException ex) {
                        /* ... */ }
                }
    
                private byte[] process(byte[] cmd) {
                    /* ... */ }
            }
        }

    2、构建高性能可伸缩的IO服务

    在构建高性能可伸缩IO服务的过程中,我们希望达到以下的目标:

    ① 能够在海量负载连接情况下优雅降级;

    ② 能够随着硬件资源的增加,性能持续改进;

    ③ 具备低延迟、高吞吐量、可调节的服务质量等特点;

    而分发处理就是实现上述目标的一个最佳方式。

    3、分发模式

    分发模式具有以下几个机制:

    ① 将一个完整处理过程分解为一个个细小的任务;

    ② 每个任务执行相关的动作且不产生阻塞;

    ③ 在任务执行状态被触发时才会去执行,例如只在有数据时才会触发读操作;

    在一般的服务开发当中,IO事件通常被当做任务执行状态的触发器使用,在hander处理过程中主要针对的也就是IO事件;

    java.nio包就很好的实现了上述的机制:

    ① 非阻塞的读和写

    ② 通过感知IO事件分发任务的执行

    所以结合一系列基于事件驱动模式的设计,给高性能IO服务的架构与设计带来丰富的可扩展性;

    二、基于事件驱动模式的设计

    基于事件驱动的架构设计通常比其他架构模型更加有效,因为可以节省一定的性能资源,事件驱动模式下通常不需要为每一个客户端建立一个线程,这意味这更少的线程开销,更少的上下文切换和更少的锁互斥,但任务的调度可能会慢一些,而且通常实现的复杂度也会增加,相关功能必须分解成简单的非阻塞操作,类似与GUI的事件驱动机制,当然也不可能把所有阻塞都消除掉,特别是GC, page faults(内存缺页中断)等。由于是基于事件驱动的,所以需要跟踪服务的相关状态(因为你需要知道什么时候事件会发生);

    下图是AWT中事件驱动设计的一个简单示意图,可以看到,在不同的架构设计中的基于事件驱动的IO操作使用的基本思路是一致的;

    三、Reactor模式

    Reactor也可以称作反应器模式,它有以下几个特点:

    ① Reactor模式中会通过分配适当的handler(处理程序)来响应IO事件,类似与AWT 事件处理线程;

    ② 每个handler执行非阻塞的操作,类似于AWT ActionListeners 事件监听

    ③ 通过将handler绑定到事件进行管理,类似与AWT addActionListener 添加事件监听;

    1、单线程模式

    下图展示的就是单线程下基本的Reactor设计模式

    首先我们明确下java.nio中相关的几个概念:

    Channels

    支持非阻塞读写的socket连接;

    Buffers

    用于被Channels读写的字节数组对象

    Selectors

    用于判断channle发生IO事件的选择器

    SelectionKeys

    负责IO事件的状态与绑定 

    Ok,接下来我们一步步看下基于Reactor模式的服务端设计代码示例:

    第一步  Rector线程的初始化

    class Reactor implements Runnable { 
        final Selector selector;
        final ServerSocketChannel serverSocket;
        Reactor(int port) throws IOException {
            selector = Selector.open();
            serverSocket = ServerSocketChannel.open();
            serverSocket.socket().bind(new InetSocketAddress(port));
            serverSocket.configureBlocking(false);
            SelectionKey sk = serverSocket.register(selector, SelectionKey.OP_ACCEPT); //注册accept事件
            sk.attach(new Acceptor()); //调用Acceptor()为回调方法
        }
        
        public void run() { 
            try {
                while (!Thread.interrupted()) {//循环
                    selector.select();
                    Set selected = selector.selectedKeys();
                    Iterator it = selected.iterator();
                    while (it.hasNext())
                        dispatch((SelectionKey)(it.next()); //dispatch分发事件
                    selected.clear();
                }
            } catch (IOException ex) { /* ... */ }
        }
        
        void dispatch(SelectionKey k) {
            Runnable r = (Runnable)(k.attachment()); //调用SelectionKey绑定的调用对象
            if (r != null)
                r.run();
        }
        
        // Acceptor 连接处理类
        class Acceptor implements Runnable { // inner
            public void run() {
                try {
                    SocketChannel c = serverSocket.accept();
                    if (c != null)
                    new Handler(selector, c);
                }
                catch(IOException ex) { /* ... */ }
            }
        }
    }

    第二步 Handler处理类的初始化

    final class Handler implements Runnable {
        final SocketChannel socket;
        final SelectionKey sk;
        ByteBuffer input = ByteBuffer.allocate(MAXIN);
        ByteBuffer output = ByteBuffer.allocate(MAXOUT);
        static final int READING = 0, SENDING = 1;
        int state = READING;
        
        Handler(Selector sel, SocketChannel c) throws IOException {
            socket = c;
            c.configureBlocking(false);
            // Optionally try first read now
            sk = socket.register(sel, 0);
            sk.attach(this); //将Handler绑定到SelectionKey上
            sk.interestOps(SelectionKey.OP_READ);
            sel.wakeup();
        }
        boolean inputIsComplete() { /* ... */ }
        boolean outputIsComplete() { /* ... */ }
        void process() { /* ... */ }
        
        public void run() {
            try {
                if (state == READING) read();
                else if (state == SENDING) send();
            } catch (IOException ex) { /* ... */ }
        }
        
        void read() throws IOException {
            socket.read(input);
            if (inputIsComplete()) {
                process();
                state = SENDING;
                // Normally also do first write now
                sk.interestOps(SelectionKey.OP_WRITE);
            }
        }
        void send() throws IOException {
            socket.write(output);
            if (outputIsComplete()) sk.cancel(); 
        }
    }

    下面是基于GoF状态对象模式对Handler类的一个优化实现,不需要再进行状态的判断。

    class Handler { // ...
        public void run() { // initial state is reader
            socket.read(input);
            if (inputIsComplete()) {
                process();
                sk.attach(new Sender()); 
                sk.interest(SelectionKey.OP_WRITE);
                sk.selector().wakeup();
            }
        }
        class Sender implements Runnable {
            public void run(){ // ...
                socket.write(output);
                if (outputIsComplete()) sk.cancel();
            }
        }
    }

    2、多线程设计模式

    在多处理器场景下,为实现服务的高性能我们可以有目的的采用多线程模式:

      1、增加Worker线程,专门用于处理非IO操作,因为通过上面的程序我们可以看到,反应器线程需要迅速触发处理流程,而如果处理过程也就是process()方法产生阻塞会拖慢反应器线程的性能,所以我们需要把一些非IO操作交给Woker线程来做;

      2、拆分并增加反应器Reactor线程,一方面在压力较大时可以饱和处理IO操作,提高处理能力;另一方面维持多个Reactor线程也可以做负载均衡使用;线程的数量可以根据程序本身是CPU密集型还是IO密集型操作来进行合理的分配;

    2.1 多线程模式

    Reactor多线程设计模式具备以下几个特点:

    ① 通过卸载非IO操作来提升Reactor 线程的处理性能,这类似与POSA2 中Proactor的设计;

    ② 比将非IO操作重新设计为事件驱动的方式更简单;

    ③ 但是很难与IO重叠处理,最好能在第一时间将所有输入读入缓冲区;(这里我理解的是最好一次性读取缓冲区数据,方便异步非IO操作处理数据)

    ④ 可以通过线程池的方式对线程进行调优与控制,一般情况下需要的线程数量比客户端数量少很多;

    下面是Reactor多线程设计模式的一个示意图与示例代码(我们可以看到在这种模式中在Reactor线程的基础上把非IO操作放在了Worker线程中执行):

        class Handler implements Runnable {
            // uses util.concurrent thread pool
            static PooledExecutor pool = new PooledExecutor(...);//声明线程池
            static final int PROCESSING = 3;
    
            // ...
            synchronized void read() { // ...
                socket.read(input);
                if (inputIsComplete()) {
                    state = PROCESSING;
                    pool.execute(new Processer());//处理程序放在线程池中执行
                }
            }
    
            synchronized void processAndHandOff() {
                process();
                state = SENDING; // or rebind attachment
                sk.interest(SelectionKey.OP_WRITE);
            }
    
            class Processer implements Runnable {
                public void run() {
                    processAndHandOff();
                }
            }
        }

    当你把非IO操作放到线程池中运行时,你需要注意以下几点问题:

    ① 任务之间的协调与控制,每个任务的启动、执行、传递的速度是很快的,不容易协调与控制;

    ② 每个hander中dispatch的回调与状态控制;

    ③ 不同线程之间缓冲区的线程安全问题;

    ④ 需要任务返回结果时,任务线程等待和唤醒状态间的切换;

    为解决上述问题可以使用PooledExecutor线程池框架,这是一个可控的任务线程池,主函数采用execute(Runnable r),它具备以下功能,可以很好的对池中的线程与任务进行控制与管理:

    ① 可设置线程池中最大与最小线程数;

    ② 按需要判断线程的活动状态,及时处理空闲线程;

    ③ 当执行任务数量超过线程池中线程数量时,有一系列的阻塞、限流的策略;

     2.2 基于多个反应器的多线程模式

    这是对上面模式的进一步完善,使用反应器线程池,一方面根据实际情况用于匹配调节CPU处理与IO读写的效率,提高系统资源的利用率,另一方面在静态或动态构造中每个反应器线程都包含对应的Selector,Thread,dispatchloop,下面是一个简单的代码示例与示意图(Netty就是基于这个模式设计的,一个处理Accpet连接的mainReactor线程,多个处理IO事件的subReactor线程):

        Selector[] selectors; // Selector集合,每一个Selector 对应一个subReactor线程
        //mainReactor线程
        class Acceptor { // ...
            public synchronized void run() { 
                //...
                Socket connection = serverSocket.accept(); 
                if (connection != null)
                  new Handler(selectors[next], connection); 
                if (++next == selectors.length)
                    next = 0;
            }
        }

    在服务的设计当中,我们还需要注意与java.nio包特性的结合:

    一是注意线程安全,每个selectors 对应一个Reactor 线程,并将不同的处理程序绑定到不同的IO事件,在这里特别需要注意线程之间的同步;

    二是java nio中文件传输的方式:

    ① Memory-mapped files 内存映射文件的方式,通过缓存区访问文件;

    ② Direct buffers直接缓冲区的方式,在合适的情况下可以使用零拷贝传输,但同时这会带来初始化与内存释放的问题(需要池化与主动释放);

     

    以上就是对《Scalable IO in Java》中核心内容的译文,限于本人各方面水平有限,本次翻译也只是便于自己阅读与理解,其中难免有翻译与认知错误的地方,望请大家谅解,如果对这方面的内容感兴趣还是建议大家去阅读原文。

     

    关注微信公众号,查看更多技术文章。

     

  • 相关阅读:
    python--网络通信协议
    python--网络编程之socket
    python--内置函数03
    在Mapper中sql语句字段与实体类属性名字之间的关系
    网站引入QQ登录
    子类继承父类时构造函数的相关问题
    java中字符串比较的问题
    Mybatis中一对多与多对一的配置
    Spring中的依赖注入(1)
    P1618 三连击(升级版)
  • 原文地址:https://www.cnblogs.com/dafanjoy/p/11217708.html
Copyright © 2020-2023  润新知