• Java NIO与IO的差别和比較


     

    导读
    J2SE1.4
    以上版本号中公布了全新的I/O类库。本文将通过一些实例来简介NIO库提供的一些新特性:非堵塞I/O,字符转换,缓冲以及通道。

    一. 介绍NIO
    NIO包(java.nio.*)引入了四个关键的抽象数据类型,它们共同解决传统的I/O类中的一些问题。

    1. Buffer:它是包括数据且用于读写的线形表结构。当中还提供了一个特殊类用于内存映射文件的I/O操作。
    2. Charset:它提供Unicode字符串影射到字节序列以及逆影射的操作。
    3. Channels:包括socket,file和pipe三种管道,它实际上是双向交流的通道。
    4. Selector:它将多元异步I/O操作集中到一个或多个线程中(它能够被看成是Unix中select()函数或Win32中WaitForSingleEvent()函数的面向对象版本号)。
    二. 回想传统
    在介绍NIO之前,有必要了解传统的I/O操作的方式。以网络应用为例,传统方式须要监听一个ServerSocket,接受请求的连接为其提供服务(服务通常包含了处理请求并发送响应)图一是server的生命周期图,当中标有粗黑线条的部分表明会发生I/O堵塞。

    图一

    能够分析创建server的每一个详细步骤。首先创建ServerSocket
    ServerSocket server=new ServerSocket(10000);

    然后接受新的连接请求
    Socket newConnection=server.accept();

    对于accept方法的调用将造成堵塞,直到ServerSocket接受到一个连接请求为止。一旦连接请求被接受,server能够读客户socket中的请求。
    InputStream in = newConnection.getInputStream();
    InputStreamReader reader = new InputStreamReader(in);
    BufferedReader buffer = new BufferedReader(reader);
    Request request = new Request();
    while(!request.isComplete()) {
    String line = buffer.readLine();
    request.addLine(line);
    }
    这种操作有两个问题,首先BufferedReader类的readLine()方法在其缓冲区未满时会造成线程堵塞,仅仅有一定数据填满了缓冲区或者客户关闭了套接字,方法才会返回。其次,它回产生大量的垃圾,BufferedReader创建了缓冲区来从客户套接字读入数据,可是相同创建了一些字符串存储这些数据。尽管BufferedReader内部提供了StringBuffer处理这一问题,可是全部的String非常快变成了垃圾须要回收。
    相同的问题在发送响应代码中也存在
    Response response = request.generateResponse();
    OutputStream out = newConnection.getOutputStream();
    InputStream in = response.getInputStream()

    int ch
    while(-1 != (ch = in.read())) {
    out.write(ch);
    }
    newConnection.close();
    类似的,读写操作被堵塞并且向流中一次写入一个字符会造成效率低下,所以应该使用缓冲区,可是一旦使用缓冲,流又会产生很多其它的垃圾。
    传统的解决方法
    通常在Java中处理堵塞I/O要用到线程(大量的线程)。通常是实现一个线程池用来处理请求,如图二


    图二
    线程使得server能够处理多个连接,可是它们也相同引发了很多问题。每一个线程拥有自己的栈空间并且占用一些CPU时间,耗费非常大,并且非常多时间是浪费在堵塞的I/O操作上,没有有效的利用CPU。
    三. 新I/O
    1.
    Buffer
    传统的I/O不断的浪费对象资源(一般是String)。新I/O通过使用Buffer读写数据避免了资源浪费。Buffer对象是线性的,有序的数据集合,它依据其类别仅仅包括唯一的数据类型。

    java.nio.Buffer 类描写叙述
    java.nio.ByteBuffer 包括字节类型。 能够从ReadableByteChannel中读在 WritableByteChannel中写

    java.nio.MappedByteBuffer 包括字节类型,直接在内存某一区域映射

    java.nio.CharBuffer 包括字符类型,不能写入通道

    java.nio.DoubleBuffer 包括double类型,不能写入通道

    java.nio.FloatBuffer 包括float类型

    java.nio.IntBuffer 包括int类型

    java.nio.LongBuffer 包括long类型

    java.nio.ShortBuffer 包括short类型

    能够通过调用allocate(int capacity)方法或者allocateDirect(int capacity)方法分配一个Buffer。特别的,你能够创建MappedBytesBuffer通过调用FileChannel.map(int mode,long position,int size)。直接(direct)buffer在内存中分配一段连续的块并使用本地訪问方法读写数据。非直接(nondirect)buffer通过使用Java中的数组訪问代码读写数据。有时候必须使用非直接缓冲比如使用不论什么的wrap方法(如ByteBuffer.wrap(byte[]))在Java数组基础上创建buffer。

    2. 字符编码
    向ByteBuffer中存放数据涉及到两个问题:字节的顺序和字符转换。ByteBuffer内部通过ByteOrder类处理了字节顺序问题,可是并没有处理字符转换。其实,ByteBuffer没有提供方法读写String。
    Java.nio.charset.Charset处理了字符转换问题。它通过构造CharsetEncoder和CharsetDecoder将字符序列转换成字节和逆转换。
    3. 通道(Channel)
    你可能注意到现有的java.io类中没有一个能够读写Buffer类型,所以NIO中提供了Channel类来读写Buffer。通道能够觉得是一种连接,能够是到特定设备,程序或者是网络的连接。通道的类等级结构图例如以下



    图三
    图中ReadableByteChannel和WritableByteChannel分别用于读写。
    GatheringByteChannel能够从使用一次将多个Buffer中的数据写入通道,相反的,ScatteringByteChannel则能够一次将数据从通道读入多个Buffer中。你还能够设置通道使其为堵塞或非堵塞I/O操作服务。
    为了使通道可以同传统I/O类相容,Channel类提供了静态方法创建Stream或Reader
    4.
    Selector
    在过去的堵塞I/O中,我们一般知道什么时候能够向stream中读或写,由于方法调用直到stream准备好时返回。可是使用非堵塞通道,我们须要一些方法来知道什么时候通道准备好了。在NIO包中,设计Selector就是为了这个目的。SelectableChannel能够注冊特定的事件,而不是在事件发生时通知应用,通道跟踪事件。然后,当应用调用Selector上的随意一个selection方法时,它查看注冊了的通道看是否有不论什么感兴趣的事件发生。图四是selector和两个已注冊的通道的样例

    图四
    并非全部的通道都支持全部的操作。SelectionKey类定义了全部可能的操作位,将要用两次。首先,当应用调用SelectableChannel.register(Selector sel,int op)方法注冊通道时,它将所需操作作为第二个參数传递到方法中。然后,一旦SelectionKey被选中了,SelectionKey的readyOps()方法返回全部通道支持操作的数位的和。SelectableChannel的validOps方法返回每一个通道同意的操作。注冊通道不支持的操作将引发IllegalArgumentException异常。下表列出了SelectableChannel子类所支持的操作。

    ServerSocketChannel OP_ACCEPT
    SocketChannel OP_CONNECT, OP_READ, OP_WRITE
    DatagramChannel OP_READ, OP_WRITE
    Pipe.SourceChannel OP_READ
    Pipe.SinkChannel OP_WRITE
    四. 举例说明
    1. 简单网页内容下载
    这个样例很easy,类SocketChannelReader使用SocketChannel来下载特定网页的HTML内容。
    package examples.nio;
    import java.nio.ByteBuffer;
    import java.nio.channels.SocketChannel;
    import java.nio.charset.Charset;
    import java.net.InetSocketAddress;
    import java.io.IOException;
    public class SocketChannelReader{

    private Charset charset=Charset.forName("UTF-8");//
    创建UTF-8字符集
    private SocketChannel channel;
    public void getHTMLContent(){
    try{
    connect();
    sendRequest();
    readResponse();
    }catch(IOException e){
    System.err.println(e.toString());
    }finally{
    if(channel!=null){
    try{
    channel.close();
    }catch(IOException e){}
    }
    }
    }
    private void connect()throws IOException{//
    连接到CSDN
    InetSocketAddress socketAddress=
    new InetSocketAddress("http://www.csdn.net",80/);
    channel=SocketChannel.open(socketAddress);
    //使用工厂方法open创建一个channel并将它连接到指定地址上

    //相当与SocketChannel.open().connect(socketAddress);调用
    }
    private void sendRequest()throws IOException{
    channel.write(charset.encode("GET "
    +"/document"
    +" "));//
    发送GET请求到CSDN的文档中心
    //使用channel.write方法,它须要CharByte类型的參数,使用
    //Charset.encode(String)方法转换字符串。
    }
    private void readResponse()throws IOException{//读取应答
    ByteBuffer buffer=ByteBuffer.allocate(1024);//创建1024字节的缓冲
    while(channel.read(buffer)!=-1){
    buffer.flip();//flip
    方法在读缓冲区字节操作之前调用。
    System.out.println(charset.decode(buffer));
    //
    使用Charset.decode方法将字节转换为字符串
    buffer.clear();//清空缓冲
    }
    }
    public static void main(String [] args){
    new SocketChannelReader().getHTMLContent();
    }
    2
    . 简单的加法server和客户机
    server代码
    package examples.nio;
    import java.nio.ByteBuffer;
    import java.nio.IntBuffer;
    import java.nio.channels.ServerSocketChannel;
    import java.nio.channels.SocketChannel;
    import java.net.InetSocketAddress;
    import java.io.IOException;
    /**
    * SumServer.java
    *
    *
    * Created: Thu Nov 06 11:41:52 2003
    *
    * @author starchu1981
    * @version 1.0
    */
    public class SumServer {
    private ByteBuffer _buffer=ByteBuffer.allocate(8);
    private IntBuffer _intBuffer=_buffer.asIntBuffer();
    private SocketChannel _clientChannel=null;
    private ServerSocketChannel _serverChannel=null;
    public void start(){
    try{
    openChannel();
    waitForConnection();
    }catch(IOException e){
    System.err.println(e.toString());
    }
    }
    private void openChannel()throws IOException{
    _serverChannel=ServerSocketChannel.open();
    _serverChannel.socket().bind(new InetSocketAddress(10000));
    System.out.println("
    server通道已经打开");
    }
    private void waitForConnection()throws IOException{
    while(true){
    _clientChannel=_serverChannel.accept();
    if(_clientChannel!=null){
    System.out.println("
    新的连接增加");
    processRequest();
    _clientChannel.close();
    }
    }
    }
    private void processRequest()throws IOException{
    _buffer.clear();
    _clientChannel.read(_buffer);
    int result=_intBuffer.get(0)+_intBuffer.get(1);
    _buffer.flip();
    _buffer.clear();
    _intBuffer.put(0,result);
    _clientChannel.write(_buffer);
    }
    public static void main(String [] args){
    new SumServer().start();
    }
    } // SumServer

    客户代码
    package examples.nio;
    import java.nio.ByteBuffer;
    import java.nio.IntBuffer;
    import java.nio.channels.SocketChannel;
    import java.net.InetSocketAddress;
    import java.io.IOException;
    /**
    * SumClient.java
    *
    *
    * Created: Thu Nov 06 11:26:06 2003
    *
    * @author starchu1981
    * @version 1.0
    */
    public class SumClient {
    private ByteBuffer _buffer=ByteBuffer.allocate(8);
    private IntBuffer _intBuffer;
    private SocketChannel _channel;
    public SumClient() {
    _intBuffer=_buffer.asIntBuffer();
    } // SumClient constructor

    public int getSum(int first,int second){
    int result=0;
    try{
    _channel=connect();
    sendSumRequest(first,second);
    result=receiveResponse();
    }catch(IOException e){System.err.println(e.toString());
    }finally{
    if(_channel!=null){
    try{
    _channel.close();
    }catch(IOException e){}
    }
    }
    return result;
    }
    private SocketChannel connect()throws IOException{
    InetSocketAddress socketAddress=
    new InetSocketAddress("localhost",10000);
    return SocketChannel.open(socketAddress);
    }

    private void sendSumRequest(int first,int second)throws IOException{
    _buffer.clear();
    _intBuffer.put(0,first);
    _intBuffer.put(1,second);
    _channel.write(_buffer);
    System.out.println("
    发送加法请求 "+first+"+"+second);
    }

    private int receiveResponse()throws IOException{
    _buffer.clear();
    _channel.read(_buffer);
    return _intBuffer.get(0);
    }
    public static void main(String [] args){
    SumClient sumClient=new SumClient();
    System.out.println("
    加法结果为 :"+sumClient.getSum(100,324));
    }
    } // SumClient

    3. 非堵塞的加法server
    首先在openChannel方法中增加语句
    _serverChannel.configureBlocking(false);//设置成为非堵塞模式
    重写WaitForConnection方法的代码例如以下,使用非堵塞方式
    private void waitForConnection()throws IOException{
    Selector acceptSelector = SelectorProvider.provider().openSelector();
    /*在server套接字上注冊selector并设置为接受accept方法的通知。
    这就告诉Selector,套接字想要在accept操作发生时被放在ready表
    上,因此,同意多元非堵塞I/O发生。*/
    SelectionKey acceptKey = ssc.register(acceptSelector,
    SelectionKey.OP_ACCEPT);
    int keysAdded = 0;

    /*select方法在不论什么上面注冊了的操作发生时返回
    */
    while ((keysAdded = acceptSelector.select()) > 0) {
    // 某客户已经准备好能够进行I/O操作了,获取其ready键集合

    Set readyKeys = acceptSelector.selectedKeys();
    Iterator i = readyKeys.iterator();
    // 遍历ready键集合,并处理加法请求
    while (i.hasNext()) {
    SelectionKey sk = (SelectionKey)i.next();
    i.remove();
    ServerSocketChannel nextReady =
    (ServerSocketChannel)sk.channel();
    //
    接受加法请求并处理它
    _clientSocket = nextReady.accept().socket();
    processRequest();
    _clientSocket.close();
    }
    }
    }
    參考资料
    1 <Master Merlin's new I/O classes> From <http://www.javawordl.com/>
    2.
    J2SE1.4.2 API Specification From <http://java.sun.com/>
    3.
    <Working with SocketChannels> From <http://developer.java.sun.com/developer>
    4. NIO Examples From <http://java.sun.com/>
     
    http://blog.chinaunix.net/uid-24186189-id-2623973.html
  • 相关阅读:
    系统信息查看命令
    item pipeline 实例:爬取360摄像图片
    scrapy之 downloader middleware
    scrapy 中用selector来提取数据的用法
    Live2D 看板娘
    Live2D 看板娘
    Live2D 看板娘
    Live2D 看板娘
    Live2D 看板娘
    Live2D 看板娘
  • 原文地址:https://www.cnblogs.com/zfyouxi/p/4083419.html
Copyright © 2020-2023  润新知