• 1.JavaIO演进之路


    概念

    必须明白的概念

    阻塞block和非阻塞non-block

    阻塞和非阻塞是进程在访问数据的时候,数据是否准备就绪的一种处理方式,当数据没有准备的时候。

    阻塞:往往需要等待缓冲区中的数据准备好过后才处理其他的事情,否则一直等待在那里。

    非阻塞:当我们的进程访问我们的数据缓冲区的时候,如果数据没有准备好则直接返回,不会等待。如果数据已经 准备好,也直接返回。

    同步synchronization和异步asynchronous

    同步和异步都是基于应用程序和操作系统处理 IO 事件所采用的方式。比如同步:是应用程序要直接参与 IO 读写 的操作。异步:所有的 IO 读写交给操作系统去处理,应用程序只需要等待通知。

    同步方式在处理 IO 事件的时候,必须阻塞在某个方法上面等待我们的 IO 事件完成(阻塞 IO 事件或者通过轮询 IO 事件的方式),对于异步来说,所有的 IO 读写都交给了操作系统。这个时候,我们可以去做其他的事情,并不需要去完 成真正的 IO 操作,当操作完成 IO 后,会给我们的应用程序一个通知。

    同步 : 阻塞到 IO 事件,阻塞到 read 或则 write。这个时候我们就完全不能做自己的事情。让读写方法加入到线 程里面,然后阻塞线程来实现,对线程的性能开销比较大。

    BIO 与 NIO 对比

    image-20220311220037853

    image-20220311220118923

    面向流与面向缓冲

    Java NIO 和 BIO 之间第一个最大的区别是,BIO 是面向流的,NIO 是面向缓冲区的。 Java BIO 面向流意味着每 次从流中读一个或多个字节,直至读取所有字节,它们没有被缓存在任何地方。此外,它不能前后移动流中的数据。 如果需要前后移动从流中读取的数据,需要先将它缓存到一个缓冲区。 Java NIO 的缓冲导向方法略有不同。数据读取 到一个它稍后处理的缓冲区,需要时可在缓冲区中前后移动。这就增加了处理过程中的灵活性。但是,还需要检查是 否该缓冲区中包含所有您需要处理的数据。而且,需确保当更多的数据读入缓冲区时,不要覆盖缓冲区里尚未处理的 数据。

    阻塞与非阻塞

    Java BIO 的各种流是阻塞的。这意味着,当一个线程调用 read() 或 write()时,该线程被阻塞,直到有一些数据被 读取,或数据完全写入。该线程在此期间不能再干任何事情了。 Java NIO 的非阻塞模式,使一个线程从某通道发送请 求读取数据,但是它仅能得到目前可用的数据,如果目前没有数据可用时,就什么都不会获取。而不是保持线程阻塞, 所以直至数据变的可以读取之前,该线程可以继续做其他的事情。 非阻塞写也是如此。一个线程请求写入一些数据到 某通道,但不需要等待它完全写入,这个线程同时可以去做别的事情。 线程通常将非阻塞 IO 的空闲时间用于在其它 通道上执行 IO 操作,所以一个单独的线程现在可以管理多个输入和输出通道(channel)。

    选择器的问世

    Java NIO 的选择器(Selector)允许一个单独的线程来监视多个输入通道,你可以注册多个通道使用一个选择器,然 后使用一个单独的线程来“选择”通道:这些通道里已经有可以处理的输入,或者选择已准备写入的通道。这种选择机制, 使得一个单独的线程很容易来管理多个通道。

    如何影响应用程序的设计

    无论您选择 BIO 或 NIO 工具箱,可能会影响您应用程序设计的以下几个方面:

    A.对 NIO 或 BIO 类的 API 调用。

    B.数据处理逻辑。

    C.用来处理数据的线程数。

    [¶](#API 调用)1.API 调用

    当然,使用 NIO 的 API 调用时看起来与使用 BIO 时有所不同,但这并不意外,因为并不是仅从一个 InputStream 逐字节读取,而是数据必须先读入缓冲区再处理。

    2.数据处理

    image-20220311220452600

    image-20220311220617806

    (Java BIO: 从一个阻塞的流中读数据) 而一个 NIO 的实现会有所不同,下面是一个简单的例子:

    ByteBuffer buffer = ByteBuffer.allocate(48);
    int bytesRead = inChannel.read(buffer);
    

    注意第二行,从通道读取字节到 ByteBuffer。当这个方法调用返回时,你不知道你所需的所有数据是否在缓冲区内。 你所知道的是,该缓冲区包含一些字节,这使得处理有点困难。

    假设第一次 read(buffer)调用后,读入缓冲区的数据只有半行,例如,“Name:An”,你能处理数据吗?显然不能, 需要等待,直到整行数据读入缓存,在此之前,对数据的任何处理毫无意义.

    ByteBuffer buffer = ByteBuffer.allocate(48);
    int bytesRead = inChannel.read(buffer);
    while(!bufferFull(bytesRead)) {
        bytesRead = inChannel.read(buffer);
    }
    

    bufferFull()方法必须跟踪有多少数据读入缓冲区,并返回真或假,这取决于缓冲区是否已满。换句话说,如果缓冲区准备好被处理,那么表示缓冲区满了。

    bufferFull()方法扫描缓冲区,但必须保持在 bufferFull()方法被调用之前状态相同。如果没有,下一个读入缓冲区的 数据可能无法读到正确的位置。这是不可能的,但却是需要注意的又一问题。

    如果缓冲区已满,它可以被处理。如果它不满,并且在你的实际案例中有意义,你或许能处理其中的部分数据。 但是许多情况下并非如此。

    image-20220311221037395

    3.设置处理线程数

    NIO 可让您只使用一个(或几个)单线程管理多个通道(网络连接或文件),但付出的代价是解析数据可能会比 从一个阻塞流中读取数据更复杂。

    如果需要管理同时打开的成千上万个连接,这些连接每次只是发送少量的数据,例如聊天服务器,实现 NIO 的服 务器可能是一个优势。

    image-20220311221137796

    Java NIO: 单线程管理多个连接

    如果你有少量的连接使用非常高的带宽,一次发送大量的数据,也许典型的 IO 服务器实现可能非常契合。下图说明了 一个典型的 IO 服务器设计.

    image-20220311221202467

    Java BIO: 一个典型的 IO 服务器设计- 一个连接通过一个线程处理。

    BIO

    public class BIOServer {
        ServerSocket serverSocket;
        public BIOServer(int port) {
            try {
                serverSocket = new ServerSocket(port);
                System.out.println("BIO服务已启动,监听端口是:" + port);
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        public void listen() throws IOException {
            while (true) {
                // 等待客户端连接,阻塞方法
                // Socket数据发送者在服务端的引用
                Socket client = serverSocket.accept();
                InputStream is = client.getInputStream();
    
                // 网络的客户端把数据发送到网卡,机器所得到的数据读到JVM中
                byte[] buff = new byte[1024];
    
                int len = is.read(buff);
    
                if (len > 0) {
                    String msg = new String(buff, 0, len);
                    System.out.println("收到" + msg);
                }
            }
        }
        public static void main(String[] args) {
            try {
                new BIOServer(8080).listen();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
    public class BIOClient {
    
        public static void main(String[] args) throws IOException {
    
            // 要和谁进行通信,IP:PORT
            Socket client = new Socket("localhost", 8080);
    
            // 不管是客户端还是服务端,都有可能write和read
            OutputStream os = client.getOutputStream();
    
            String name = UUID.randomUUID().toString();
    
            System.out.println("客户端发送数据" + name);
    
            os.write(name.getBytes());
    
            os.close();
    
            client.close();
        }
    }
    

    NIO

    public class NIOServer {
    
        private int port = 8080;
    
        // 准备两个东西
        // 轮询器 Selector
        private Selector selector;
        // 缓冲区 Buffer
    
        private ByteBuffer buffer = ByteBuffer.allocate(1024);
    
        // 初始化完毕
        public NIOServer(int port) {
            // 初始化
            try {
                this.port = port;
                ServerSocketChannel server = ServerSocketChannel.open();
    
                // 告诉地址 ip:port
                server.bind(new InetSocketAddress(this.port));
    
                // BIO升级版本NIO NIO模型默认采用阻塞
                server.configureBlocking(false);
    
                selector = Selector.open();
    
                // 开始接受消息
                server.register(selector, SelectionKey.OP_ACCEPT);
    
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    
        public void listen() {
            System.out.println("listen on:" + this.port);
            try {
                while (true) {
                    selector.select();
                    Set<SelectionKey> keys = selector.selectedKeys();
                    // 不断的轮询
                    Iterator<SelectionKey> iter = keys.iterator();
                    // 同步体现在这里,因为每次只能处理一种状态
                    while (iter.hasNext()) {
                        SelectionKey key = iter.next();
                        iter.remove();
                        process(key);
                    }
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    
        // 每一次轮询就是调用一次process方法,而每一次调用,都只能干一件事
        private void process(SelectionKey key) throws IOException {
            // 针对每种状态给一个反应
            if (key.isAcceptable()) {
                ServerSocketChannel server = (ServerSocketChannel) key.channel();
                // 这个方法体现非阻塞,不管你数据有没有准备好,都要给我一个状态和反馈
                SocketChannel channel = server.accept();
                channel.configureBlocking(false);
                // 当数据准备就绪的时候,将状态改为可读
                key = channel.register(selector, SelectionKey.OP_READ);
            }
            else if (key.isReadable()) {
                // key.channel 多路复用器中拿到客户端的引用
                SocketChannel channel = (SocketChannel) key.channel();
                int len = channel.read(buffer);
                if (len > 0) {
                    buffer.flip();
                    String content = new String(buffer.array(), 0, len);
                    channel.register(selector, SelectionKey.OP_WRITE);
    
                    // 在key上携带一个附件,一会再写出去
                    key.attach(content);
                    System.out.println("读取内容" + content);
                }
            }
            else if (key.isWritable()) {
                SocketChannel channel = (SocketChannel) key.channel();
                String content = (String) key.attachment();
                channel.write(ByteBuffer.wrap(("输出:" + content).getBytes()));
                channel.close();
            }
        }
    
        public static void main(String[] args) {
            new NIOServer(8080).listen();
        }
    }
    

    [¶](# Java AIO 详解) Java AIO 详解

    jdk1.7 (NIO2)才是实现真正的异步 AIO、把 IO 读写操作完全交给操作系统,学习了 linux epoll 模式.

    [¶](# Java AIO 基本原理) Java AIO 基本原理

    服务端:AsynchronousServerSocketChannel

    客服端:AsynchronousSocketChannel

    用户处理器:CompletionHandler 接口,这个接口实现应用程序向操作系统发起 IO 请求,当完成后处理具体逻辑,否则做 自己该做的事情。

    “真正”的异步IO需要操作系统更强的支持。在IO多路复用模型中,事件循环将文件句柄的状态事件通知给用户线程, 由用户线程自行读取数据、处理数据。而在异步IO模型中,当用户线程收到通知时,数据已经被内核读取完毕,并放 在了用户线程指定的缓冲区内,内核在IO完成后通知用户线程直接使用即可。异步IO模型使用了Proactor设计模式实 现了这一机制.

    image-20220311232258514

    public class AIOServer {
    
        private final int port;
    
        public static void main(String args[]) {
            int port = 8000;
            new AIOServer(port);
        }
    
        public AIOServer(int port) {
            this.port = port;
            listen();
        }
    
        private void listen() {
            try {
                ExecutorService executorService = Executors.newCachedThreadPool();
                AsynchronousChannelGroup threadGroup = AsynchronousChannelGroup.withCachedThreadPool(executorService, 1);
                //开门营业
                //工作线程,用来侦听回调的,事件响应的时候需要回调
                final AsynchronousServerSocketChannel server = AsynchronousServerSocketChannel.open(threadGroup);
                server.bind(new InetSocketAddress(port));
                System.out.println("服务已启动,监听端口" + port);
    
                //准备接受数据
                server.accept(null, new CompletionHandler<AsynchronousSocketChannel, Object>(){
                    final ByteBuffer buffer = ByteBuffer.allocateDirect(1024);
                    //实现completed方法来回调
                    //由操作系统来触发
                    //回调有两个状态,成功
                    public void completed(AsynchronousSocketChannel result, Object attachment){
                        System.out.println("IO操作成功,开始获取数据");
                        try {
                            buffer.clear();
                            result.read(buffer).get();
                            buffer.flip();
                            result.write(buffer);
                            buffer.flip();
                        } catch (Exception e) {
                            System.out.println(e.toString());
                        } finally {
                            try {
                                result.close();
                                server.accept(null, this);
                            } catch (Exception e) {
                                System.out.println(e.toString());
                            }
                        }
    
                        System.out.println("操作完成");
                    }
    
                    @Override
                    //回调有两个状态,失败
                    public void failed(Throwable exc, Object attachment) {
                        System.out.println("IO操作是失败: " + exc);
                    }
                });
    
                try {
                    Thread.sleep(Integer.MAX_VALUE);
                } catch (InterruptedException ex) {
                    System.out.println(ex);
                }
            } catch (IOException e) {
                System.out.println(e);
            }
        }
    }
    public class AIOClient {
        private final AsynchronousSocketChannel client;
    
        public AIOClient() throws Exception{
            client = AsynchronousSocketChannel.open();
        }
    
        public void connect(String host,int port)throws Exception{
            client.connect(new InetSocketAddress(host,port),null,new CompletionHandler<Void,Void>() {
                @Override
                public void completed(Void result, Void attachment) {
                    try {
                        client.write(ByteBuffer.wrap("这是一条测试数据".getBytes())).get();
                        System.out.println("已发送至服务器");
                    } catch (Exception ex) {
                        ex.printStackTrace();
                    }
                }
    
                @Override
                public void failed(Throwable exc, Void attachment) {
                    exc.printStackTrace();
                }
            });
            final ByteBuffer bb = ByteBuffer.allocate(1024);
            client.read(bb, null, new CompletionHandler<Integer,Object>(){
    
                        @Override
                        public void completed(Integer result, Object attachment) {
                            System.out.println("IO操作完成" + result);
                            System.out.println("获取反馈结果" + new String(bb.array()));
                        }
    
                        @Override
                        public void failed(Throwable exc, Object attachment) {
                            exc.printStackTrace();
                        }
                    }
            );
    
            try {
                Thread.sleep(Integer.MAX_VALUE);
            } catch (InterruptedException ex) {
                System.out.println(ex);
            }
    
        }
    
        public static void main(String args[])throws Exception{
            new AIOClient().connect("localhost",8000);
        }
    }
    

    image-20220311232940857

    image-20220311232954464

  • 相关阅读:
    Elasticsearch6.x和7.x版本常用插件汇总
    阿里巴巴JAVA开发规范学习笔记
    jQuery学习和知识点总结归纳
    MySQL常用维护命令和操作
    MySQL知识点系统总结
    HTML基础知识自学教程
    最值得拥有的免费Bootstrap后台管理模板
    强烈推荐优秀的Vue UI组件库
    再次学习Git版本控制工具
    Linux下Apache虚拟主机配置
  • 原文地址:https://www.cnblogs.com/yunlongn/p/16137781.html
Copyright © 2020-2023  润新知