• Java Resizable Array


    原文链接:http://tutorials.jenkov.com/java-performance/resizable-array.html,如有侵权,立删

    Java Resizable Array

    • Java Resizable Array - GitHub Repository
    • Resizable Array Use Case
    • Resizable Array DesignExpand on Write
      • Keeping Track of Free Blocks
    • Freeing Arrays
    • Using the ResizableArrayBuffer
      • Creating a ResizableArrayBuffer
      • Obtaining a ResizableArray Instance
      • Writing to a ResizableArray
      • Reading From a ResizableArray
      • Freeing a ResizableArray

      有时候我们为了快速便捷的读取数据,想把数据保存在单个连续的数组里。这就需要数组是可以调节大小的,或者是可以扩张的。但是在Java中数组的大小是不可以调节的。你必须亲自实现一个可调节大小的数组,在本文中我将展示如何实现这个数组

    Java Resizable Array-GitHub Repository

      源代码哦:https://github.com/jjenkov/java-resizable-array

      包含了三个classes和两个测试类

    Resizable Array Use Case

      想象下如果你有一个接受不同数据的Server,最小的数据4KB,大的1MB或者更大。

      如果Server同一时间有1000K+的访问连接,我们需要知道要为数据提前分配多大的空间。我们不能仅仅只是分配一个最大的空间(1MB&16MB)为每个buffer。当有一千条连接访问Server时(100.000 × 1MB = 100GB),需要100GB的空间。

      换一种思路,我们先从最小的信息开始处理,如果信息size超过了最小信息,那么我们重新分配一块空间并把原来的信息复制过去。如果信息又超过了现有的容量,那么再次分配并复制

      使用这种策略,大多数信息将会使用最小buffer。这也就意味着Server的内存使用会变得非常高效,(100.000×4KB = 400MB),即使连接访问达到(1000.000 × 4KB = 4GB)。大多数Server也能hold住

    Resizable Array Design

      resizable array 包含两个部分

      • ResizableArray
      • ResizableArrayBuffer

      ResizableArrayBuffer包含一个单一,高容的数组。这个数组被分为三个部分。一个部分为small arrays,一个为medium size arrays 和 large array。

      ResizableArray就表示单一,高容的数组,它的数据存储在ResizableArrayBuffer中的数组。

      有图有真相

                    

      为了在ResizableArrayBuffer中的large array为各个大小不一的message预留空间,我们需要保证array不会被任意大小的message填充满。例如,接受了大量的small mesages,并不会占用全部的内存,但是却会阻塞Server接受medium和large message。相似的,接受大量的large或medium message也不会占用所有的内存,但却会使得另外连个message type产生阻塞。

      假如所有的message都是从small messages开始,如果大量的small arrays被耗尽,无论medium array或large array是否有空间,都不会分配新的array。但是如果将small arrays的大小设置的合理,这种情况发生的概率就会降低。

      即便small message部分全部被占用了,small message还是有可能会grow为medium and large messages的。

    Keeping Track of Fress Blocks

      large array 在ResizableArrayBuffer中被分为三个部分,每个部分又被分为很多小块。每个小块在每个部分中有着相同的大小。

      当所有的块在其所处的部分有着相同的大小时,它是很容易去跟踪那些使用着的块和没有使用的块。你可以使用一个queue(队列)来保存每个块的开始索引。对于每个部分都需要有这么一个queue(队列),一个queue(队列)去跟踪可用的small blocks,medium blocks 和 large blocks 同样是这样的。

      Allocating a block from any of the sections can be accomplished simply by taking the next free block start index from the queue associated with the desired section. Freeing a block is done by putting the start index back into the corresponding queue.(能力有限)

      对于queue(队列)我曾经用一个简单的Ring Buffer 实现过,链接:http://tutorials.jenkov.com/java-performance/ring-buffer.html

    Expand on Write

      当你向array中写入数据时,Resizable array将会自己expand。如果你尝试向其中写入更多的数据,但是 array 没有多余的空间,它会被分配一个新的更大的 block 并且把原有的数据全部复制过去,之前的使用的block就free掉。

    Freeing Arrays

      一旦你获得了一个更大的array,你就应该释放掉原来的array,以便它可以存储别的message。

      Using the ResizableArrayBuffer

      我教你如何使用ResizableArrayBuffer

      Creating a ResizableArrayBuffer

      首先你必须创建一个ResizableArrayBuffer

     1 int smallBlockSize  =    4 * 1024;
     2 int mediumBlockSize =  128 * 1024;
     3 int largeBlockSize  = 1024 * 1024;
     4 
     5 int smallBlockCount  = 1024;
     6 int mediumBlockCount =   32;
     7 int largeBlockCount  =    4;
     8 
     9 ResizableArrayBuffer arrayBuffer =
    10         new ResizableArrayBuffer(
    11                 smallBlockSize , smallBlockCount,
    12                 mediumBlockSize, mediumBlockCount,
    13                 largeBlockSize,  largeBlockCount);

      This example creates a ResizableArrayBuffer with a small array size of 4KB, medium array size of 128KB and a larger array size of 1MB. The ResizableArrayBuffer contains space for 1024 small arrays (4MB in total), 32 medium arrays (4MB in total) and 4 large arrays (4MB in total) - for a full shared array size of 12MB.(不想翻了)

    Obtaining a ResizableArray Instance

      获得一个ResizableArray instance,调用ResizableArrayBuffer`s getArray()方法。

     ResizableArray resizableArray = arrayBuffer.getArray(); 

      这个例子会获得一个很小的ResizableArray(4KB)

      Writing to a ResizableArray

      你可以调用ResizableArray自己的write()方法。你可以重构它

    1 ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
    2 
    3 for(int i=0; i < 1024; i++){
    4     byteBuffer.put((byte) i);
    5 }
    6 byteBuffer.flip():
    7 
    8 int bytesCopied = resizableArray.write(byteBuffer);

      这个例子将ByteBuffer中的数据copy到ResizableArray中的array(block),返回值是复制了多少个字节数。

      一种情况是ByteBuffer中的数据大于ResizableArray的容量,那么ResizableArray将尝试expand自身的空间为了ByteBuffer中的数据。如果ResizableArray在expanding后不能包含所有的ByteBuffer数据,write()方法将会返回-1并且也不会复制data。

    Reading From a ResizalbeArray

      当你从ResizableArray读取数据时,你可以直接在所有ResizableArray实例共享的共享数组中读取。ResizableArray包含以下几个字段:

    1 public byte[] sharedArray = null;
    2 public int    offset      = 0;
    3 public int    capacity    = 0;
    4 public int    length      = 0;

      shareArray字段引用所有的ResizableArray实例中的共享array,这是保存在ResizableArrayBuffer中的内部array。

      offset字段包含着共享array中的开始索引。

      capacity字段包含ResizableArray实例中分配的共享数组中block的size。

      length字段包含多少正在使用的block

      去读取卸载ResizableArray中的数据时,是从shareArray[offset]到shareArray[offset+length-1]。

    Freeing a ResizableArray

      一旦你使用完了ResizableArray,你就要free它。仅需要调用ResizableArray中的free()方法即可。

    resizableArray.free();

      调用free()方法负责返回使用过的block到正确的queue,不管分配给ResizableArray中block的大小。

  • 相关阅读:
    BZOJ 3053 The Closest M Points
    Python 语言介绍
    计算机组成与操作系统基础
    Gym 100818I Olympic Parade(位运算)
    Codeforces 602B Approximating a Constant Range(想法题)
    Codeforces 599D Spongebob and Squares(数学)
    Codeforces 599C Day at the Beach(想法题,排序)
    ZOJ 3903 Ant(数学,推公示+乘法逆元)
    ZOJ 3911 Prime Query(线段树)
    UVALive 6910 Cutting Tree(离线逆序并查集)
  • 原文地址:https://www.cnblogs.com/AI-Cobe/p/10050620.html
Copyright © 2020-2023  润新知