第三章 CopyOnWriteArrayList源码解析

1、什么是CopyOnWrite容器

CopyOnWrite容器即写时复制的容器。通俗的理解是当我们往一个容器添加元素的时候，不直接往当前容器添加，而是先将当前容器进行Copy，复制出一个新的容器，然后新的容器里添加元素，添加完元素之后，再将原容器的引用指向新的容器。这样做的好处是我们可以对CopyOnWrite容器进行并发的读，而不需要加锁，因为当前容器不会添加任何元素。所以CopyOnWrite容器也是一种读写分离的思想，读和写不同的容器。

适用场景：读多写少的场景。

CopyOnWriteArrayList是Java并发包中提供的一个并发容器，它是个线程安全且读操作无锁的ArrayList，写操作则通过创建底层数组的新副本来实现，是一种读写分离的并发策略，我们也可以称这种容器为"写时复制器"，Java并发包中类似的容器还有CopyOnWriteSet。本文会对CopyOnWriteArrayList的实现原理及源码进行分析。

实现原理

　　我们都知道，集合框架中的ArrayList是非线程安全的，Vector虽是线程安全的，但由于简单粗暴的锁同步机制，性能较差。而CopyOnWriteArrayList则提供了另一种不同的并发处理策略（当然是针对特定的并发场景）。

　　很多时候，我们的系统应对的都是读多写少的并发场景。CopyOnWriteArrayList容器允许并发读，读操作是无锁的，性能较高。至于写操作，比如向容器中添加一个元素，则首先将当前容器复制一份，然后在新副本上执行写操作，结束之后再将原容器的引用指向新容器。

　　优缺点分析

　　了解了CopyOnWriteArrayList的实现原理，分析它的优缺点及使用场景就很容易了。

　　优点：

　　读操作性能很高，因为无需任何同步措施，比较适用于读多写少的并发场景。Java的list在遍历时，若中途有别的线程对list容器进行修改，则会抛出ConcurrentModificationException异常。而CopyOnWriteArrayList由于其"读写分离"的思想，遍历和修改操作分别作用在不同的list容器，所以在使用迭代器进行遍历时候，也就不会抛出ConcurrentModificationException异常了

　　缺点：

　　缺点也很明显，一是内存占用问题，毕竟每次执行写操作都要将原容器拷贝一份，数据量大时，对内存压力较大，可能会引起频繁GC；二是无法保证实时性，Vector对于读写操作均加锁同步，可以保证读和写的强一致性。而CopyOnWriteArrayList由于其实现策略的原因，写和读分别作用在新老不同容器上，在写操作执行过程中，读不会阻塞但读取到的却是老容器的数据。

1、对于CopyOnWriteArrayList需要掌握以下几点

创建：CopyOnWriteArrayList()
添加元素：即add(E)方法
获取单个对象：即get(int)方法
删除对象：即remove(E)方法
遍历所有对象：即iterator()，在实际中更常用的是增强型的for循环去做遍历

注：CopyOnWriteArrayList是一个线程安全，读操作时无锁的ArrayList。

2、创建

public CopyOnWriteArrayList()

使用方法：

List<String> list = new CopyOnWriteArrayList<String>();

相关源代码：

private volatile transient Object[] array;//底层数据结构

    /**
     * 获取array
     */
    final Object[] getArray() {
        return array;
    }

    /**
     * 设置Object[]
     */
    final void setArray(Object[] a) {
        array = a;
    }

    /**
     * 创建一个CopyOnWriteArrayList
     * 注意：创建了一个0个元素的数组
     */
    public CopyOnWriteArrayList() {
        setArray(new Object[0]);
    }

注意点：

设置一个容量为0的Object[]；ArrayList会创造一个容量为10的Object[]

3、添加元素

public boolean add(E e)

使用方法：

list.add("hello");

源代码：

/**
     * 在数组末尾添加元素
     * 1）获取锁
     * 2）上锁
     * 3）获取旧数组及其长度
     * 4）创建新数组，容量为旧数组长度+1，将旧数组拷贝到新数组
     * 5）将要增加的元素加入到新数组的末尾，设置全局array为新数组
     */
    public boolean add(E e) {
        final ReentrantLock lock = this.lock;//这里为什么不直接用this.lock（即类中已经初始化好的锁）去上锁
        lock.lock();//上锁
        try {
            Object[] elements = getArray();//获取当前的数组
            int len = elements.length;//获取当前数组元素
            /*
             * Arrays.copyOf(elements, len + 1)的大致执行流程：
             * 1）创建新数组，容量为len+1，
             * 2）将旧数组elements拷贝到新数组，
             * 3）返回新数组
             */
            Object[] newElements = Arrays.copyOf(elements, len + 1);
            newElements[len] = e;//新数组的末尾元素设成e
            setArray(newElements);//设置全局array为新数组
            return true;
        } finally {
            lock.unlock();//解锁
        }
    }

注意点：

Arrays.copyOf(T[] original, int newLength)该方法在ArrayList中讲解过

疑问：

在add(E)方法中，为什么要重新定义一个ReentrantLock，而不直接使用那个定义的类变量锁（全局锁）
- 答：事实上，按照他那样写，即使是在add、remove、set中存在多个引用，最后也是一个实例this.lock，所以不管你在add、remove、set中怎样去从新定义一个ReentrantLock，其实add、remove、set中最后使用的都是同一个锁this.lock，也就是说，同一时刻，add/remove/set只能有一个在运行。这样讲，就是说，下边这段代码完全可以做一个修改。修改前的代码：
```
public boolean add(E e) {
        final ReentrantLock lock = this.lock;//这里为什么不直接用this.lock（即类中已经初始化好的锁）去上锁
        lock.lock();//上锁
```
- 修改后的代码：
- ```
public boolean add(E e) {
        //final ReentrantLock lock = this.lock;//这里为什么不直接用this.lock（即类中已经初始化好的锁）去上锁
        this.lock.lock();//上锁
```
根据以上代码可知，每增加一个新元素，都要进行一次数组的复制消耗，那为什么每次不将数组的元素设大（比如说像ArrayList那样，设置为原来的1.5倍+1），这样就会大大减少因为数组元素复制所带来的消耗？

4、获取元素

public E get(int index)

使用方法：

list.get(0)

源代码：

/**
     * 根据下标获取元素
     * 1）获取数组array
     * 2）根据索引获取元素
     */
    public E get(int index) {
        return (E) (getArray()[index]);
    }

注意点：

获取不需要加锁

疑问：在《分布式Java应用：基础与实践》一书中作者指出：读操作会发生脏读，为什么？

从类属性部分，我们可以看到array数组是volatile修饰的，也就是当你对volatile进行写操作后，会将写过后的array数组强制刷新到主内存，在读操作中，当你读出数组（即getArray()）时，会强制从主内存将array读到工作内存，所以应该不会发生脏读才对呀！！！

5、删除元素

public boolean remove(Object o)

使用方法：

list.remove("hello")

源代码：

/**
     * 删除list中的第一个o
     * 1）获取锁、上锁
     * 2）获取旧数组、旧数组的长度len
     * 3）如果旧数组长度为0，返回false
     * 4）如果旧数组有值，创建新数组，容量为len-1
     * 5）从0开始遍历数组中除了最后一个元素的所有元素
     * 5.1）将旧数组中将被删除元素之前的元素复制到新数组中，
     * 5.2）将旧数组中将被删除元素之后的元素复制到新数组中
     * 5.3）将新数组赋给全局array
     * 6）如果是旧数组的最后一个元素要被删除，则
     * 6.1）将旧数组中将被删除元素之前的元素复制到新数组中
     * 6.2）将新数组赋给全局array
     */
    public boolean remove(Object o) {
        final ReentrantLock lock = this.lock;
        lock.lock();
        try {
            Object[] elements = getArray();//获取原数组
            int len = elements.length;//获取原数组长度
            if (len != 0) {//如果有数据
                // Copy while searching for element to remove
                // This wins in the normal case of element being present
                int newlen = len - 1;//新数组长度为原数组长度-1
                Object[] newElements = new Object[newlen];//创建新数组

                for (int i = 0; i < newlen; ++i) {//遍历新数组（不包含最后一个元素）
                    if (eq(o, elements[i])) {
                        // 将旧数组中将被删除元素之后的元素复制到新数组中
                        for (int k = i + 1; k < len; ++k)
                            newElements[k - 1] = elements[k];
                        setArray(newElements);//将新数组赋给全局array
                        return true;
                    } else
                        newElements[i] = elements[i];//将旧数组中将被删除元素之前的元素复制到新数组中
                }

                if (eq(o, elements[newlen])) {//将要删除的元素时旧数组中的最后一个元素
                    setArray(newElements);
                    return true;
                }
            }
            return false;
        } finally {
            lock.unlock();
        }
    }

判断两个对象是否相等：

/**
     * 判断o1与o2是否相等
     */
    private static boolean eq(Object o1, Object o2) {
        return (o1 == null ? o2 == null : o1.equals(o2));
    }

注意点：

需要加锁
ArrayList的remove使用了System.arraycopy（这是一个native方法），而这里没使用，所以理论上这里的remove的性能要比ArrayList的remove要低

6、遍历所有元素

iterator() hasNext() next()

使用方法：

讲解用的：

Iterator<String> itr = list.iterator();
        while(itr.hasNext()){
            System.out.println(itr.next());
        }

for(String str : list){
            System.out.println(str);
        }

public Iterator<E> iterator() {
        return new COWIterator<E>(getArray(), 0);
    }

private static class COWIterator<E> implements ListIterator<E> {
        private final Object[] snapshot;//数组快照
        private int cursor;//可看做数组索引

        private COWIterator(Object[] elements, int initialCursor) {
            cursor = initialCursor;
            snapshot = elements;//将实际数组赋给数组快照
        }
        
        public boolean hasNext() {
            return cursor < snapshot.length;//0~snapshot.length-1
        }
        
        public E next() {
            if (!hasNext())
                throw new NoSuchElementException();
            return (E) snapshot[cursor++];
        }

说明：这一块儿代码非常简单，看看代码注释就好。

注意：

由于遍历的只是全局数组的一个副本，即使全局数组发生了增删改变化，副本也不会变化，所以不会发生并发异常。但是，可能在遍历的过程中读到一些刚刚被删除的对象。

注意点：

总结：

线程安全，读操作时无锁的ArrayList
底层数据结构是一个Object[]，初始容量为0，之后每增加一个元素，容量+1，数组复制一遍
增删改上锁、读不上锁
遍历过程由于遍历的只是全局数组的一个副本，即使全局数组发生了增删改变化，副本也不会变化，所以不会发生并发异常
读多写少且脏数据影响不大的并发情况下，选择CopyOnWriteArrayList

疑问：

每增加一个新元素，都要进行一次数组的复制消耗，那为什么每次不将数组的元素设大（比如说像ArrayList那样，设置为原来的1.5倍+1），这样就会大大减少因为数组元素复制所带来的消耗？
get(int)操作会发生脏读，为什么

源码分析

　　基本原理了解了，CopyOnWriteArrayList的代码实现看起来就很容易理解了。

public boolean add(E e) {
        //ReentrantLock加锁，保证线程安全
        final ReentrantLock lock = this.lock;
        lock.lock();
        try {
            Object[] elements = getArray();
            int len = elements.length;
            //拷贝原容器，长度为原容器长度加一
            Object[] newElements = Arrays.copyOf(elements, len + 1);
            //在新副本上执行添加操作
            newElements[len] = e;
            //将原容器引用指向新副本
            setArray(newElements);
            return true;
        } finally {
            //解锁
            lock.unlock();
        }
    }

　　添加的逻辑很简单，先将原容器copy一份，然后在新副本上执行写操作，之后再切换引用。当然此过程是要加锁的。

　　删除操作

 public E remove(int index) {
        //加锁
        final ReentrantLock lock = this.lock;
        lock.lock();
        try {
            Object[] elements = getArray();
            int len = elements.length;
            E oldValue = get(elements, index);
            int numMoved = len - index - 1;
            if (numMoved == 0)
                //如果要删除的是列表末端数据，拷贝前len-1个数据到新副本上，再切换引用
                setArray(Arrays.copyOf(elements, len - 1));
            else {
                //否则，将除要删除元素之外的其他元素拷贝到新副本中，并切换引用
                Object[] newElements = new Object[len - 1];
                System.arraycopy(elements, 0, newElements, 0, index);
                System.arraycopy(elements, index + 1, newElements, index,
                                 numMoved);
                setArray(newElements);
            }
            return oldValue;
        } finally {
            //解锁
            lock.unlock();
        }
    }

　　删除操作同理，将除要删除元素之外的其他元素拷贝到新副本中，然后切换引用，将原容器引用指向新副本。同属写操作，需要加锁。

　　我们再来看看读操作，CopyOnWriteArrayList的读操作是不用加锁的，性能很高。

public E get(int index) {
        return get(getArray(), index);
    }

　　直接读取即可，无需加锁

 private E get(Object[] a, int index) {
        return (E) a[index];
    }

总结

　　本文对CopyOnWriteArrayList的实现原理和源码进行了分析，并对CopyOnWriteArrayList的优缺点也进行了分析（Java并发包中还提供了CopyOnWriteSet，原理类似）。其实所谓并发容器的优缺点，无非是取决于我们在面对特定并发场景时，是否能做出相对合理的选择和应用。也希望本文能帮助到有需要的童鞋，共勉。

1、CopyOnWrite容器（并发容器）

　　Copy-On-Write简称COW，是一种用于程序设计中的优化策略。
其基本思路是，从一开始大家都在共享同一个内容，当某个人想要修改这个内容的时候，才会真正把内容Copy出去形成一个新的内容然后再改，这是一种延时懒惰策略。
从JDK1.5开始Java并发包里提供了两个使用CopyOnWrite机制实现的并发容器,它们是CopyOnWriteArrayList和CopyOnWriteArraySet。

　　CopyOnWrite容器即写时复制的容器。
　　通俗的理解是当我们往一个容器添加元素的时候，不直接往当前容器添加，而是先将当前容器进行Copy，复制出一个新的容器，然后新的容器里添加元素，添加完元素之后，再将原容器的引用指向新的容器。
　　这样做的好处是我们可以对CopyOnWrite容器进行并发的读，而不需要加锁，因为当前容器不会添加任何元素。
　　所以CopyOnWrite容器是一种读写分离的思想，读和写不同的容器、最终一致性以及使用另外开辟空间的思路，来解决并发冲突的思想。

2、CopyOnWriteArrayList数据结构

public class CopyOnWriteArrayList<E>
            implements List<E>, RandomAccess, Cloneable, java.io.Serializable {}

CopyOnWriteArrayList实现了List接口，List接口定义了对列表的基本操作；

同时实现了RandomAccess接口，表示可以随机访问（数组具有随机访问的特性）；
同时实现了Cloneable接口，表示可克隆；
同时也实现了Serializable接口，表示可被序列化。
CopyOnWriteArrayList底层使用数组来存放元素。

2、CopyOnWriteArrayList Add方法

　　CopyOnWriteArrayList容器是Collections.synchronizedList(List list)的替代方案，是一个ArrayList的线程安全的变体。
基本原理：
　　初始化的时候只有一个容器，很常一段时间，这个容器数据、数量等没有发生变化的时候，大家(多个线程)，都是读取(假设这段时间里只发生读取的操作)同一个容器中的数据，所以这样大家读到的数据都是唯一、一致、安全的，但是后来有人往里面增加了一个数据，这个时候CopyOnWriteArrayList 底层实现添加的原理是先copy出一个容器(可以简称副本)，再往新的容器里添加这个新的数据，最后把新的容器的引用地址赋值给了之前那个旧的的容器地址，但是在添加这个数据的期间，其他线程如果要去读取数据，仍然是读取到旧的容器里的数据。

　　CopyOnWriteArrayList中add方法的实现（向CopyOnWriteArrayList里添加元素），可以发现在添加的时候是需要加锁的，否则多线程写的时候会Copy出N个副本出来。

public boolean add(E e) {
        final ReentrantLock lock = this.lock;
        lock.lock();
        try {
            Object[] elements = getArray();
            int len = elements.length;
            // 复制出新数组
            Object[] newElements = Arrays.copyOf(elements, len + 1);
            // 把新元素添加到新数组里
           newElements[len] = e;
           // 把原数组引用指向新数组
            setArray(newElements);
            return true;
        } finally {
            lock.unlock();
        }
    }
     
    /**
     * Sets the array.
     */
    final void setArray(Object[] a) {
        array = a;
    }

　　读的时候不需要加锁，如果读的时候有多个线程正在向CopyOnWriteArrayList添加数据，读还是会读到旧的数据，因为写的时候不会锁住旧的CopyOnWriteArrayList。

public E get(int index) {
        return get(getArray(), index);
    }

3、remove方法

public E remove(int index) {
        final ReentrantLock lock = this.lock;
        lock.lock();
        try {
            Object[] elements = getArray();
            int len = elements.length;
            E oldValue = get(elements, index);
            int numMoved = len - index - 1;
            if (numMoved == 0)
                setArray(Arrays.copyOf(elements, len - 1));
            else {
                Object[] newElements = new Object[len - 1];
                System.arraycopy(elements, 0, newElements, 0, index);
                System.arraycopy(elements, index + 1, newElements, index,
                                 numMoved);
                setArray(newElements);
            }
            return oldValue;
        } finally {
            lock.unlock();
        }
    }

　　删除元素，很简单，就是判断要删除的元素是否最后一个，如果最后一个直接在复制副本数组的时候，复制长度为旧数组的length-1即可；
但是如果不是最后一个元素，就先复制旧的数组的index前面元素到新数组中，然后再复制旧数组中index后面的元素到数组中，最后再把新数组复制给旧数组的引用。最后在finally语句块中将锁释放。

4、set方法

public E set(int index, E element) {
        final ReentrantLock lock = this.lock;
        lock.lock();
        try {
            Object[] elements = getArray();
            E oldValue = get(elements, index);
 
            if (oldValue != element) {
                int len = elements.length;
                Object[] newElements = Arrays.copyOf(elements, len);
                newElements[index] = element;
                setArray(newElements);
            } else {
                // Not quite a no-op; ensures volatile write semantics
                setArray(elements);
            }
            return oldValue;
        } finally {
            lock.unlock();
        }
    }

5、CopyOnWriteArrayList初始化（构造方法）

 /**
     * Sets the array.把老数组指向新数组么
     */
    final void setArray(Object[] a) {
        array = a;
    }
 
    /**
     * Creates an empty list.构造函数
     */
    public CopyOnWriteArrayList() {
        setArray(new Object[0]);
    }
 
    public CopyOnWriteArrayList(Collection<? extends E> c) {
        Object[] elements = c.toArray();
        // c.toArray might (incorrectly) not return Object[] (see 6260652)
        if (elements.getClass() != Object[].class)
            elements = Arrays.copyOf(elements, elements.length, Object[].class);
        setArray(elements);
    }
    /**
     * Creates a list holding a copy of the given array.
     *
     * @param toCopyIn the array (a copy of this array is used as the
     *        internal array)
     * @throws NullPointerException if the specified array is null
     */
    public CopyOnWriteArrayList(E[] toCopyIn) {
        setArray(Arrays.copyOf(toCopyIn, toCopyIn.length, Object[].class));
    }

　　无论我们用哪一个构造方法创建一个CopyOnWriteArrayList对象，都会创建一个Object类型的数组，然后赋值给成员array。

6、copyOf函数

　　该函数用于复制指定的数组，截取或用 null 填充（如有必要），以使副本具有指定的长度。

    public static <T,U> T[] copyOf(U[] original, int newLength, Class<? extends T[]> newType) {
        @SuppressWarnings("unchecked")
        // 确定copy的类型（将newType转化为Object类型，将Object[].class转化为Object类型，判断两者是否相等，若相等，则生成指定长度的Object数组
        // 否则,生成指定长度的新类型的数组）
        T[] copy = ((Object)newType == (Object)Object[].class)
            ? (T[]) new Object[newLength]
            : (T[]) Array.newInstance(newType.getComponentType(), newLength);
        // 将original数组从下标0开始，复制长度为(original.length和newLength的较小者),复制到copy数组中（也从下标0开始）
        System.arraycopy(original, 0, copy, 0,
                         Math.min(original.length, newLength));
        return copy;
    }

7、CopyOnWrite的应用场景

CopyOnWrite并发容器用于读多写少的并发场景。
比如白名单，黑名单，商品类目的访问和更新场景，假如我们有一个搜索网站，用户在这个网站的搜索框中，输入关键字搜索内容，但是某些关键字不允许被搜索。
这些不能被搜索的关键字会被放在一个黑名单当中，黑名单每天晚上更新一次。当用户搜索时，会检查当前关键字在不在黑名单当中，如果在，则提示不能搜索。

8、CopyOnWrite的缺点

　　CopyOnWrite容器有很多优点（解决开发工作中的多线程的并发问题），但是同时也存在两个问题，即内存占用问题和数据一致性问题。
1.内存占用问题。
　　因为CopyOnWrite的写时复制机制，所以在进行写操作的时候，内存里会同时驻扎两个对象的内存，旧的对象和新写入的对象（注意:在复制的时候只是复制容器里的引用，只是在写的时候会创建新对象添加到新容器里，而旧容器的对象还在使用，所以有两份对象内存）。
如果这些对象占用的内存比较大，比如说200M左右，那么再写入100M数据进去，内存就会占用300M，那么这个时候很有可能造成频繁的Yong GC和Full GC。

　　针对内存占用问题，可以通过压缩容器中的元素的方法来减少大对象的内存消耗，比如，如果元素全是10进制的数字，可以考虑把它压缩成36进制或64进制。
或者不使用CopyOnWrite容器，而使用其他的并发容器，如ConcurrentHashMap。

2.数据一致性问题。
　　CopyOnWrite容器只能保证数据的最终一致性，不能保证数据的实时一致性。所以如果你希望写入的的数据，马上能读到，请不要使用CopyOnWrite容器。

9、总结：

1.CopyOnWriteArrayList适用于读多写少的场景
2.在并发操作容器对象时不会抛出ConcurrentModificationException，并且返回的元素与迭代器创建时的元素是一致的
3.容器对象的复制需要一定的开销，如果对象占用内存过大，可能造成频繁的YoungGC和Full GC
4.CopyOnWriteArrayList不能保证数据实时一致性，只能保证最终一致性
5.在需要并发操作List对象的时候优先使用CopyOnWriteArrayList
6.随着CopyOnWriteArrayList中元素的增加，CopyOnWriteArrayList的修改代价将越来越昂贵，因此，CopyOnWriteArrayList适用于读操作远多于修改操作的并发场景中。

相关阅读:
python之openpyxl模块
 jquery实现轮播图
 Css进阶练习(实现抽屉网样式布局)
python之UnittTest模块
 zkClient的使用
 Watcher、ZK状态、事件类型，权限
 java 操作zookeeper
Zookeeper简介
 RocketMq顺序消费
 RocketMq --consumer自动实现负载均衡
原文地址：https://www.cnblogs.com/hanease/p/16294552.html