• JVM探究之 —— 垃圾回收(一)


    垃圾收集(Garbage Collection,GC),大部分人都把这项技术当做Java语言的伴生产物。事实上,GC的历史比Java久远,1960年诞生于MIT的Lisp是第一门真正使用内存动态分配和垃圾收集技术的语言。当Lisp还在胚胎时期时,人们就在思考GC需要完成的3件事情:

    • 哪些内存需要回收?
    • 什么时候回收?
    • 如何回收?

    Java内存运行时区域的各个部分,其中程序计数器、虚拟机栈、本地方法栈3个区域随线程而生,随线程而灭;栈中的栈帧随着方法的进入和退出而有条不紊地执行着出栈和入栈操作。每一个栈帧中分配多少内存基本上是在类结构确定下来时就已知的(尽管在运行期会由JIT编译器进行一些优化,但在本章基于概念模型的讨论中,大体上可以认为是编译期可知的),因此这几个区域的内存分配和回收都具备确定性,在这几个区域内就不需要过多考虑回收的问题,因为方法结束或者线程结束时,内存自然就跟随着回收了。而 Java堆和方法区则不一样,一个接口中的多个实现类需要的内存可能不一样,一个方法中的多个分支需要的内存也可能不一样,我们只有在程序处于运行期间时才能知道会创建哪些对象,这部分内存的分配和回收都是动态的,垃圾收集器所关注的是这部分内存。

    1. 判断对象是否已经死亡

    在堆里面存放着Java世界中几乎所有的对象实例,垃圾收集器在对堆进行回收前,第一件事情就是要确定这些对象之中哪些还“存活”着,哪些已经“死去”。

    1.1 引用计数算法

    给对象中添加一个引用计数器,每当有一个地方引用它,计数器就加 1;当引用失效,计数器就减 1;任何时候计数器为 0 的对象就是不可能再被使用的。

    这个方法实现简单,效率高,但是目前主流的虚拟机中并没有选择这个算法来管理内存,其最主要的原因是它很难解决对象之间相互循环引用的问题。 所谓对象之间的相互引用问题,如下面代码所示:除了对象 objA 和 objB 相互引用着对方之外,这两个对象之间再无任何引用。但是他们因为互相引用对方,导致它们的引用计数器都不为 0,于是引用计数算法(Reference Counting)无法通知 GC 回收器回收他们。

    public class ReferenceCountingGc {
        Object instance = null;
        public static void main(String[] args) {
            ReferenceCountingGc objA = new ReferenceCountingGc();
            ReferenceCountingGc objB = new ReferenceCountingGc();
            objA.instance = objB;
            objB.instance = objA;
            objA = null;
            objB = null;
    
        }
    }

    1.2 可达性分析算法

    这个算法的基本思路就是通过一系列的称为“GC Roots”的对象作为起始点,从这些节点开始向下搜索,搜索所走过的路径称为引用链(Reference Chain),当一个对象到GC Roots没有任何引用链相连(用图论的话来说,就是从GC Roots到这个对象不可达)时,则证明此对象是不可用的。Java是通过可达性分析(Reachability Analysis)来判定对象是否存活的。

    在Java语言中,可作为GC Roots的对象包含以下几种:

    • 虚拟机栈(栈帧中的本地变量表)中引用的对象。(可以理解为:引用栈帧中的本地变量表的所有对象)
    • 方法区中静态属性引用的对象(可以理解为:引用方法区该静态属性的所有对象)
    • 方法区中常量引用的对象(可以理解为:引用方法区中常量的所有对象)
    • 本地方法栈中(Native方法)引用的对象(可以理解为:引用Native方法的所有对象)

    可以理解为:

    • 第一种是虚拟机栈中的引用的对象,我们在程序中正常创建一个对象,对象会在堆上开辟一块空间,同时会将这块空间的地址作为引用保存到虚拟机栈中,如果对象生命周期结束了,那么引用就会从虚拟机栈中出栈,因此如果在虚拟机栈中有引用,就说明这个对象还是有用的,这种情况是最常见的。
    • 第二种是我们在类中定义了全局的静态的对象,也就是使用了static关键字,由于虚拟机栈是线程私有的,所以这种对象的引用会保存在共有的方法区中,显然将方法区中的静态引用作为GC Roots是必须的。
    • 第三种便是常量引用,就是使用了static final关键字,由于这种引用初始化之后不会修改,所以方法区常量池里的引用的对象也应该作为GC Roots。
    • 第四种是在使用JNI技术时,有时候单纯的Java代码并不能满足我们的需求,我们可能需要在Java中调用C或C++的代码,因此会使用native方法,JVM内存中专门有一块本地方法栈,用来保存这些对象的引用,所以本地方法栈中引用的对象也会被作为GC Roots。

    1.3 再谈引用

    无论是通过引用计数算法判断对象的引用数量,还是通过可达性分析算法判断对象的引用链是否可达,判定对象是否存活都与“引用”有关。在JDK 1.2以前,Java中的引用的定义很传统:如果reference类型的数据中存储的数值代表的是另外一块内存的起始地址,就称这块内存代表着一个引用。

    在JDK1.2之后,Java对引用的概念做了扩充,将引用分为:

    • 强引用(Strong Reference)
    • 软引用(Soft Reference)
    • 弱引用(Weak Reference)
    • 虚引用(Phantom Reference)

    这四种引用从上到下,依次减弱。

    • 强引用就是指在程序代码中普遍存在的,类似 Object obj = new Object() 这类似的引用,只要强引用在,垃圾搜集器永远不会搜集被引用的对象。也就是说,当内存空间不足,JVM宁愿抛出 OutOfMemoryError 错误,使程序异常终止,也不会靠随意回收具有强引用的对象来解决内存不足问题。
    • 软引用是用来描述一些有用但并不是必需的对象,在Java中用java.lang.ref.SoftReference类来表示。对于软引用关联着的对象,只有在内存不足的时候JVM才会回收该对象。因此,这一点可以很好地用来解决OOM的问题,并且这个特性很适合用来实现缓存:比如网页缓存、图片缓存等。
    • 弱引用也是用来描述非必需对象的,当JVM进行垃圾回收时,无论内存是否充足,都会回收被弱引用关联的对象。在java中,用java.lang.ref.WeakReference类来表示。
    • 虚引用和前面的软引用、弱引用不同,它并不影响对象的生命周期。在java中用java.lang.ref.PhantomReference类表示。如果一个对象与虚引用关联,则跟没有引用与之关联一样,在任何时候都可能被垃圾回收器回收。要注意的是,虚引用必须和引用队列关联使用,当垃圾回收器准备回收一个对象时,如果发现它还有虚引用,就会把这个虚引用加入到与之关联的引用队列中。程序可以通过判断引用队列中是否已经加入了虚引用,来了解被引用的对象是否将要被垃圾回收。如果程序发现某个虚引用已经被加入到引用队列,那么就可以在所引用的对象的内存被回收之前采取必要的行动。

    需要注意的是:在程序设计中一般很少使用弱引用与虚引用,使用软引用的情况较多,这是因为软引用可以加速 JVM 对垃圾内存的回收速度,可以维护系统的运行安全,防止内存溢出(OutOfMemory)等问题的产生。

    1.4 可达性分析算法中对象死亡过程

    即使在可达性分析法中不可达的对象,也并非是“非死不可”的,这时候它们暂时处于“缓刑阶段”,要真正宣告一个对象死亡,至少要经历两次标记过程;可达性分析法中不可达的对象被第一次标记并且进行一次筛选,筛选的条件是此对象是否有必要执行 finalize 方法。当对象没有覆盖 finalize 方法,或 finalize 方法已经被虚拟机调用过时,虚拟机将这两种情况视为没有必要执行。

    被判定为需要执行的对象将会被放在一个叫做F-Queue的队列之中进行第二次标记,除非这个对象与引用链上的任何一个对象建立关联,否则就会被真的回收。

    1.5 判断一个常量是废弃常量

    JDK1.7 及之后版本的 JVM 已经将运行时常量池从方法区中移了出来,在 Java 堆(Heap)中开辟了一块区域存放运行时常量池。

    假如一个字符串“abc”已经进入了常量池中,但是当前系统没有任何一个String对象是叫做“abc”的,换句话说,就是没有任何String对象引用常量池中的“abc”常量,也没有其他地方引用了这个字面量,如果这时发生内存回收,而且必要的话,这个“abc”常量就会被系统清理出常量池。常量池中的其他类(接口)、方法、字段的符号引用也与此类似。

    1.6 判断“无用的类”

    判定一个类是否是“无用的类”的条件则相对苛刻许多。类需要同时满足下面3个条件才能算是“无用的类”:

    • 该类所有的实例都已经被回收,也就是Java堆中不存在该类的任何实例。
    • 加载该类的ClassLoader已经被回收。
    • 该类对应的java.lang.Class对象没有在任何地方被引用,无法在任何地方通过反射访问该类的方法。

    虚拟机可以对满足上述 3 个条件的无用类进行回收,这里说的仅仅是“可以”,而并不是和对象一样不使用了就会必然被回收。是否对类进行回收,HotSpot虚拟机提供了-Xnoclassgc参数进行控制,还可以使用-verbose:class以及-XX:+TraceClassLoading、-XX:+TraceClassUnLoading查看类加载和卸载信息。

    2. 内存分配与回收策略

    Java技术体系中的自动内存管理分为对象内存回收和内存分配。这里研究一下对象内存分配的问题。

    对象的内存分配,往大方向讲,就是在堆上分配(但也可能经过JIT编译后被拆散为标量类型并间接地栈上分配),对象主要分配在新生代的Eden区上,如果启动了本地线程分配缓冲,将按线程优先在TLAB上分配。少数情况下也可能会直接分配在老年代中,分配的规则并不是百分之百固定的,其细节取决于当前使用的是哪一种垃圾收集器组合,还有虚拟机中与内存相关的参数的设置。

    回顾一下之前在 JVM探究之 —— Java内存区域 提到的Java堆:Java 堆是垃圾收集器管理的主要区域,因此也被称作GC 堆(Garbage Collected Heap)。从垃圾回收的角度,由于现在收集器基本都采用分代垃圾收集算法,所以 Java 堆还可以细分为:新生代和老年代:再细致一点,年轻代可以划分为:Eden 空间、From Survivor (S0)、To Survivor (S1) 空间等。进一步划分的目的是更好地回收内存,或者更快地分配内存。

    上图所示的 eden 区、s0("From") 区、s1("To") 区都属于新生代,tentired 区属于老年代。大部分情况,对象都会首先在 Eden 区域分配,在一次新生代垃圾回收后,如果对象还存活,则会进入 s1("To"),并且对象的年龄还会加 1(Eden 区->Survivor 区后对象的初始年龄变为 1),当它的年龄增加到一定程度(默认为 15 岁),就会被晋升到老年代中。对象晋升到老年代的年龄阈值,可以通过参数 -XX:MaxTenuringThreshold 来设置。经过这次GC后,Eden区和"From"区已经被清空。这个时候,"From"和"To"会交换他们的角色,也就是新的"To"就是上次GC前的“From”,新的"From"就是上次GC前的"To"。不管怎样,都会保证名为To的Survivor区域是空的。Minor GC会一直重复这样的过程,直到“To”区被填满,"To"区被填满之后,会将所有对象移动到年老代中。

    2.1 对象优先在Eden分配

    首先了解一下常见的 Minor GC和Full GC的区别:

    • 新生代GC(Minor GC):指发生在新生代的垃圾收集动作,因为Java对象大多都具备朝生夕灭的特性,所以Minor GC非常频繁,一般回收速度也比较快。
    • 老年代GC(Major GC/Full GC):指发生在老年代的GC,出现了Major GC,经常会伴随至少一次的Minor GC(但非绝对的,在Parallel Scavenge收集器的收集策略里就有直接进行Major GC的策略选择过程)。Major GC的速度一般会比Minor GC慢10倍以上。

    在大多数情况下,对象在新生代Eden区中分配。当Eden区没有足够空间进行分配时,虚拟机将发起一次Minor GC。

    虚拟机提供了-XX:+PrintGCDetails这个收集器日志参数,告诉虚拟机在发生垃圾收集行为时打印内存回收日志,并且在进程退出的时候输出当前的内存各区域分配情况。

    /**
     * Eden区对象内存分配测试
     * -Xms20M -Xmx20M -Xmn10M -XX:+PrintGCDetails
     */
    public class EdenAllocationTest {
        private static final int _1MB =1024*1024;
    
        public static void main(String[] args) {
            byte[] allocation1, allocation2,allocation3,allocation4;
    //        allocation1=new byte[2*_1MB];
    //        allocation2=new byte[2*_1MB];
    //        allocation3=new byte[2*_1MB];
    
        }
    }

    如上面代码中,在运行时通过-Xms20M、-Xmx20M、-Xmn10M这3个参数限制了Java堆大小为20MB,不可扩展,其中10MB分配给新生代,剩下的10MB分配给老年代。-XX:SurvivorRatio=8决定了新生代中Eden区与一个Survivor区的空间比例是8:1,从输出的结果也可以清晰地看到“eden space 8192K、from space 1024K、to space 1024K”的信息,新生代总可用空间为9216KB(Eden区+1个Survivor区的总容量)。

     

     分配两个2MB的对象之后,空间使用情况如下:

     可以看到,eden区新增使用空间 2*2*1MB(1024KB) = 4096KB,Eden区剩余空间大小为 8192KB-6620KB=1572KB < 2MB,此时再分配一个2MB的对象会怎么样呢?

    可以看到,当给allocation3对象分配内存时发生一次Minor GC,这次GC的结果是新生代6456KB变为750KB,而总内存占用量则几乎没有减少(因为allocation1、allocation2对象都是存活的,虚拟机几乎没有找到可回收的对象)。这次GC发生的原因是给allocation3分配内存的时候,剩余空间已不足以分配allocation3所需的2MB内存,因此发生Minor GC。GC期间虚拟机又发现已有的2个2MB大小的对象全部无法放入Survivor空间(Survivor空间只有1MB大小),所以只好通过分配担保机制提前转移到老年代去。老年代上的空间足够存放 allocation1和allocation2对象,所以不会出现 Full GC。执行 Minor GC 后,后面分配的对象如果能够存在 eden 区的话,还是会在 eden 区分配内存。

    2.2 大对象直接进入老年代

    大对象是指,需要大量连续内存空间的Java对象,如:字符串以及数组。

    虚拟机提供了一个 -XX:PretenureSizeThreshold参数,令大于这个设置值的对象直接在老年代分配。从而避免在Eden区及两个Survivor区之间发生大量的内存复制。

    /**
     * 大对象老年代分配测试 PretenureSizeThreshold
     * -Xms20M -Xmx20M -Xmn10M -XX:+PrintGCDetails -XX:+UseSerialGC -XX:PretenureSizeThreshold=3145728
     * 说明:
     * -XX:+UseSerialGC 使用SerialGC
     * -XX:PretenureSizeThreshold=3145728 设置PretenureSizeThreshold为3MB,这个参数不能像-Xmx之类的参数一样直接写3MB
     */
    public class PretenureSizeThresholdTest {
        private static final int _1MB =1024*1024;
        public static void main(String[] args) {
            byte[] allocation1;
            allocation1=new byte[4*_1MB];
        }
    }

    需要注意的是:PretenureSizeThreshold参数只对Serial和ParNew两款收集器有效,Parallel Scavenge收集器不认识这个参数,Parallel Scavenge收集器一般并不需要设置。如果遇到必须使用此参数的场合,可以考虑ParNew加CMS的收集器组合。下面示例代码通过 -XX:UseSerialGC 来指定JVM使用Serial垃圾收集器演示。

    从上面代码中,可以看出当给 allocation1对象分配空间时, Eden空间几乎没有被使用,而老年代的10MB空间被使用了4MB,allocation1对象直接就分配在老年代中,这是因为PretenureSizeThreshold被设置为3MB(就是3145728,这个参数不能像-Xmx之类的参数一样直接写3MB),因此超过3MB的对象都会直接在老年代进行分配。

    2.3 动态对象年龄判定

    为了能更好地适应不同程序的内存状况,虚拟机并不是永远地要求对象的年龄必须达到了MaxTenuringThreshold才能晋升老年代,如果在Survivor空间中相同年龄所有对象大小的总和大于Survivor空间的一半(-XX:TargetSurvivorRatio=50 即:50%),年龄大于或等于该年龄的对象就可以直接进入老年代,无须等到MaxTenuringThreshold中要求的年龄。

    JVM到底是如何来计算S区对象晋升到Old区的呢? 首先介绍另一个重要的JVM参数:-XX:TargetSurvivorRatio:一个计算期望S区存活大小(Desired survivor size)的参数。默认值为50,即50%。 当一个S区中所有的age对象的大小如果大于等于Desired survivor size,则重新计算threshold,以age和MaxTenuringThreshold两者的最小值为准,否则以MaxTenuringThreshold为准。

    2.4 长期存活的对象将进入老年代

    既然虚拟机采用了分代收集的思想来管理内存,那么内存回收时就必须能识别哪些对象应放在新生代,哪些对象应放在老年代中。为了做到这点,虚拟机给每个对象定义了一个对象年龄(Age)计数器。

    如果对象在Eden出生并经过第一次Minor GC后仍然存活,并且能被Survivor容纳的话,将被移动到Survivor空间中,并且对象年龄设为1。对象在Survivor区中每“熬过”一次Minor GC,年龄就增加1岁,当它的年龄增加到一定程度(默认为15岁),就将会被晋升到老年代中。对象晋升老年代的年龄阈值,可以通过参数-XX:MaxTenuringThreshold设置。

    需要注意的是,和《深入理解Java虚拟机》一书中使用的JDK版本不同,第一次Minor GC后,Survivor区的内存占用并非仅仅是allocation1对象的256KB,所以需要设置-XX:TargetSurvivorRatio并将其调整的大一些,否则会在未达到MaxTenuringThreshold时触发动态年龄判断,使Survivor区内存回收至老年代。

    /**
     * 对象晋升老年代的年龄阈值测试 XX:MaxTenuringThreshold
     * -Xms20M -Xmx20M -Xmn10M -XX:+PrintGCDetails -XX:+UseSerialGC -XX:MaxTenuringThreshold=1
     * -XX:TargetSurvivorRatio=99 -XX:+PrintTenuringDistribution
     * 说明:
     * -XX:+UseSerialGC   使用SerialGC
     * -XX:MaxTenuringThreshold=1  年龄阈值,对象每熬过一次Minor GC,它的age会加1,age达到此值对象就会晋升老年代
     * -XX:TargetSurvivorRatio=99  Desired survivor size 设置Survivor区的使用超过99%时会触发动态年龄判断,使其回收至老年代;
     *                             这里设置其为99%,根据MaxTenuringThreshold判断
     * -XX:+PrintTenuringDistribution   输出对象年龄
     */
    public class MaxTenuringThresholdTest {
        private static final int _1MB =1024*1024;
        public static void main(String[] args) {
            byte[] allocation1,allocation2,allocation3;
            allocation1=new byte[_1MB/4];
            allocation2=new byte[4*_1MB];
            allocation3=new byte[4*_1MB];
            allocation3=null;
            allocation3=new byte[4*_1MB];
    
        }
    }

    设置JVM参数-XX:MaxTenuringThreshold=1来查看执行结果:

    可以看出,上面执行结果中的allocation1对象需要256KB内存,在第一次GC时Survivor空间可以容纳。当MaxTenuringThreshold=1时,allocation1对象在第二次GC发生时进入老年代,新生代已使用的内存GC后非常干净地变成0KB。

    测试 MaxTenuringThreshold=15 的情况,结果如下:

    2.5 空间分配担保

    在发生Minor GC之前,虚拟机会检查老年代最大可用的连续空间是否大于新生代所有对象的总空间,

    • 如果大于,则此次Minor GC是安全的;
    • 如果小于,则虚拟机会查看HandlePromotionFailure设置值是否允许担保失败。如果HandlePromotionFailure=true,那么会继续检查老年代最大可用连续空间是否大于历次晋升到老年代的对象的平均大小,如果大于,则尝试进行一次Minor GC,但这次Minor GC依然是有风险的;如果小于或者HandlePromotionFailure=false,则改为进行一次Full GC。

    上面提到了Minor GC依然会有风险,是因为新生代采用复制收集算法,假如大量对象在Minor GC后仍然存活(最极端情况为内存回收后新生代中所有对象均存活),而Survivor空间是比较小的,这时就需要老年代进行分配担保,把Survivor无法容纳的对象放到老年代。老年代要进行空间分配担保,前提是老年代得有足够空间来容纳这些对象,但一共有多少对象在内存回收后存活下来是不可预知的,因此只好取之前每次垃圾回收后晋升到老年代的对象大小的平均值作为参考。使用这个平均值与老年代剩余空间进行比较,来决定是否进行Full GC来让老年代腾出更多空间。

    取平均值仍然是一种概率性的事件,如果某次Minor GC后存活对象陡增,远高于平均值的话,必然导致担保失败,如果出现了分配担保失败,就只能在失败后重新发起一次Full GC。虽然存在发生这种情况的概率,但大部分时候都是能够成功分配担保的,这样就避免了过于频繁执行Full GC。

  • 相关阅读:
    实现一个电话号码生成器
    SQL查询--关于查询的练习题
    SQL查询--内连接、外连接、自连接查询
    SQL查询--约束
    SQL查询--索引
    SQL查询--简单了解SQL(结构化查询语言)
    使用python做一个爬虫GUI程序
    postman(十二):发送携带md5签名、随机数等参数的请求
    对比3种接口测试的工具:jmeter+ant;postman;python的requests+unittest或requests+excel
    (四十八)c#Winform自定义控件-下拉按钮-HZHControls
  • 原文地址:https://www.cnblogs.com/zjfjava/p/11300206.html
Copyright © 2020-2023  润新知