深入理解Java虚拟机(第3版)读书笔记——Java内存区域与内存溢出异常

第2章 Java内存区域与内存溢出异常

一、 运行时数据区域

1. 程序计数器 Program Counter Register

程序计数器是一块较小的内存空间,它可以看作是当前线程所执行的字节码的行号指示器。

由于Java虚拟机的多线程是通过线程轮流切换、分配处理器执行时间的方式来实现的,在任何一个确定的时刻,一个处理器(内核)都只会执行一条线程中的指令。因此,为了线程切换后能恢复到正确的执行位置,每条线程都需要有一个独立的程序计数器,各条线程之间计数器互不影响,独立存储,即线程私有。

如果线程正在执行的是一个Java方法,这个计数器记录的是正在执行的虚拟机字节码指令的地址;如果正在执行的是本地(Native)方法,这个计数器值则应为空(Undefined)。

此内存区域是唯一一个在《Java虚拟机规范》中没有规定任何OutOfMemoryError情况的区域。

2. 虚拟机栈 Java Virtual Machine Stack

Java虚拟机栈生命周期与线程相同。描述的是Java方法执行的线程内存模型。

每个方法被执行的时候,Java虚拟机都会同步创建一个 栈帧(Stack Frame) 用于存储局部变量表、操作数栈、动态连接、方法出口等信息。每一个方法被调用直至执行完毕的过程,就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程。

• 局部变量表：存放编译期可知的

  • 基本数据类型：int、byte、boolean...
  • 对象引用：reference类型,它并不等同于对象本身,可能是一个指向对象起始地址的引用指针,也可能是指向一个代表对象的句柄或者其他与此对象相关的位置
  • returnAddress类型：指向一条字节码指令的地址

  这些数据类型在局部变量表中的存储空间以局部变量槽(Slot)来表示,其中64位长度的long和double类型的数据会占用两个变量槽,其余的数据类型只占用一个。
  局部变量表所需的内存空间在编译期间完成分配,当进入一个方法时,大小(槽的数量)完全确定,在方法运行期间不会改变。

异常：

• StackOverflowError：线程请求的栈深度大于虚拟机所允许的深度时抛出
• OutOfMemoryError：Java虚拟机栈容量可以动态扩展,当栈扩展时无法申请到足够的内存抛出

3. 本地方法栈 Native Method Stack

本地方法栈与虚拟机栈作用类似,本地方法栈为本地方法服务。

《Java虚拟机规范》对本地方法栈中方法使用的语言、使用方式与数据结构并没有任何强制规定,因此具体的虚拟机可以根据需要自由实现它,甚至有的Java虚拟机(譬如Hot-Spot虚拟机)直接就把本地方法栈和虚拟机栈合二为一。

4. Java 堆 Java Heap

Java堆是被所有线程共享的一块内存区域,在虚拟机启动时创建,是虚拟机所管理的内存中最大的一块。此内存区域的唯一目的就是存放对象实例,Java世界里“几乎”所有的对象实例都在这里分配内存。

根据《Java虚拟机规范》的规定,Java堆可以处于物理上不连续的内存空间中,但在逻辑上它应该被视为连续的(类似于磁盘空间存储文件)。

Java堆既可以被实现成固定大小的,也可以是可扩展的,不过当前主流的Java虚拟机都是按照可扩展来实现的(通过参数-Xmx和-Xms设定)。

异常：

• OutOfMemoryError：堆中没有内存完成实例分配,并且堆也无法再扩展时抛出

5. 方法区 Method Area

方法区(Method Area)与Java堆一样,是各个线程共享的内存区域,它用于存储已被虚拟机加载的类型信息、常量、静态变量、即时编译器编译后的代码缓存等数据。

《Java虚拟机规范》对方法区的约束是非常宽松的,除了和Java堆一样不需要连续的内存和可以选择固定大小或者可扩展外,甚至还可以选择不实现垃圾收集。相对而言,垃圾收集行为在这个区域的确是比较少出现的,该区域的内存回收目标主要是针对常量池的回收和对类型的卸载,一般来说这个区域的回收效果比较难令人满意,尤其是类型的卸载,条件相当苛刻,但是这部分区域的回收有时又确实是必要的。

• 运行时常量池 Runtime Constant Pool
  运行时常量池是方法区的一部分。Class文件中除了有类的版本、字段、方法、接口等描述信息外,还有一项信息是常量池表,用于存放编译期生成的各种字面量与符号引用,这部分内容将在类加载后存放到方法区的运行时常量池中。
  运行时常量池具备动态性,并不要求常量一定只有编译期才能产生,也就是说,并非预置入Class文件中常量池的内容才能进入方法区运行时常量池,运行期间也可以将新的常量放入池中,这种特性被开发人员利用得比较多的便是String.intern()方法。

异常：

• OutOfMemoryError：方法区无法满足新的内存分配需求时抛出

6. 直接内存 Direct Memory

直接内存并不是虚拟机运行时数据区的一部分,也不是《Java虚拟机规范》中定义的内存区域。

在JDK 1.4中新加入了NIO(New Input/Output)类,引入了一种基于通道(Channel)与缓冲区(Buffer)的I/O方式,它可以使用Native函数库直接分配堆外内存,然后通过一个存储在Java堆里面的DirectByteBuffer对象作为这块内存的引用进行操作。这样能在一些场景中显著提高性能,因为避免了在Java堆和Native堆中来回复制数据。

异常：

• OutOfMemoryError：本机直接内存的分配不会受到Java堆大小的限制,无法满足分配需求时抛出

二、 HotSpot虚拟机对象

HotSpot虚拟机在Java堆中对象分配、布局和访问的过程

1. 对象的创建

• 当Java虚拟机遇到一条字节码new指令时,首先将去检查这个指令的参数是否能在常量池中定位到一个类的符号引用,并且检查这个符号引用代表的类是否已被加载、解析和初始化过。

• 在类加载检查通过后,接下来虚拟机将为新生对象分配内存。对象所需内存的大小在类加载完成后便可完全确定,为对象分配空间的任务实际上便等同于把一块确定大小的内存块从Java堆中划分出来。

  • 指针碰撞(Bump The Pointer)：堆中内存规整,被使用过的内存与空闲的内存完全分离,中间放着一个指针作为分界点的指示器。指针向空闲空间方向挪动一段与对象大小相等的距离即可分配内存。
  • 空闲列表(Free List)：堆中内存不规整,已被使用的内存和空闲的内存相互交错在一起,虚拟机必须维护一个列表,记录上哪些内存块是可用的,在分配的时候从列表中找到一块足够大的空间划分给对象实例,并更新列表上的记录。

  Java堆是否规整由所采用的垃圾收集器是否带有空间压缩整理(Compact)能力决定。因此,当使用Serial、ParNew等带压缩整理过程的收集器时,系统采用的分配算法是指针碰撞,既简单又高效;而当使用CMS这种基于清除(Sweep)算法的收集器时,理论上就只能采用较为复杂的空闲列表来分配内存。

  问题：并发情况下的线程安全

  • 对分配内存空间的动作进行同步处理(实际上虚拟机是采用CAS配上失败重试的方式保证更新操作的原子性)
  • 每个线程在Java堆中预先分配一小块内存,称为本地线程分配缓冲(Thread Local Allocation Buffer,TLAB),只有本地缓冲区用完了,分配新的缓存区时才需要同步锁定。可以通过-XX:+/-UseTLAB参数设定。

• 内存分配完成之后,虚拟机必须将分配到的内存空间(但不包括对象头)都初始化为零值,如果使用了TLAB的话,这一项工作也可以提前至TLAB分配时顺便进行。

• Java虚拟机还要对对象进行必要的设置,例如这个对象是哪个类的实例、如何才能找到类的元数据信息、对象的哈希码(实际上对象的哈希码会延后到真正调用Object::hashCode()方法时才计算)、对象的GC分代年龄等信息。这些信息存放在对象的对象头(Object Header)之中。

在上面工作都完成之后,从虚拟机的视角来看,一个新的对象已经产生了。但是从Java程序的视角看来,对象创建才刚刚开始——构造函数,即Class文件中的<init>()方法还没有执行,所有的字段都为默认的零值,对象需要的其他资源和状态信息也还没有按照预定的意图构造好。

2. 对象的内存布局

在HotSpot虚拟机里,对象在堆内存中的存储布局可以划分为三个部分:对象头(Header)、实例数据(Instance Data)和对齐填充
(Padding)。

• 对象头：包括两类信息

  • Mark Word：用于存储对象自身的运行时数据,如HashCode、GC分代年龄、锁状态标志、线程持有的锁、偏向线程ID、偏向时间戳等。
    这部分数据的长度在32位和64位的虚拟机(未开启压缩指针)分别为32个比特和64个比特。Mark Word被设计成一个有着动态定义的数据结构,以便在极小的空间内存储尽量多的数据,根据对象的状态复用自己的存储空间。
  • 类型指针：对象指向它的类型元数据的指针,Java虚拟机通过这个指针来确定该对象是哪个类的实例。(并不是所有的虚拟机实现都必须在对象数据上保留类型指针,即查找对象的元数据信息并不一定要经过对象本身)
  • 如果对象是一个Java数组,那在对象头中还必须有一块用于记录数组长度的数据。

• 实例数据：对象真正存储的有效信息,即字段内容。
  无论是从父类继承下来的,还是在子类中定义的字段都必须记录起来。这部分的存储顺序会受到虚拟机分配策略参数和字段在Java源码中定义顺序的影响。HotSpot虚拟机默认的分配顺序为longs/doubles、ints、shorts/chars、bytes/booleans、oops(Ordinary Object Pointers,OOPs),即相同宽度的字段总是被分配到一起存放,在满足这个前提条件的情况下,在父类中定义的变量会出现在子类之前。

• 对齐填充：HotSpot虚拟机的自动内存管理系统要求对象起始地址必须是8字节的整数倍。因此,如果对象实例数据部分没有对齐的话,就需要通过对齐填充来补全。

3. 对象的访问定位

Java程序会通过栈上的reference数据来操作堆上的具体对象。由于reference类型在《Java虚拟机规
范》里面只规定了它是一个指向对象的引用,所以对象访问方式也是
由虚拟机实现而定的,主流的访问方式主要有使用句柄和直接指针两种。

• 句柄：Java堆中将可能会划分出一块内存来作为句柄池,reference中存储的就是对象的句柄地址,而句柄中包含了对象实例数据与类型数据各自具体的地址信息。
  好处：reference中存储的是稳定句柄地址,在对象被移动时只会改变句柄中的实例数据指针,而reference本身不需要被修改。
  
• 直接指针：Java堆中对象的内存布局就必须考虑如何放置访问类型数据的相关信息,reference中存储的直接就是对象地址,如果只是访问对象本身的话,就不需要多一次间接访问的开销。
  好处：速度更快,节省了一次指针定位的时间开销,由于对象访问在Java中非常频繁,因此这类开销积少成多也是一项极为可观的执行成本。
  

三、 OutOfMemoryError异常实战

1. 堆溢出

-Xms：堆最小值
-Xmx：堆最大值
-XX:+HeapDumpOnOutOfMemoryError HeapOOM：在出现内存溢出异常的时候Dump出当前的内存堆转储快照

测试用例：

java -Xms20m -Xmx20m -XX:+HeapDumpOnOutOfMemoryError HeapOOM

public class HeapOOM {
	static class OOMObject {
	}
	public static void main(String[] args) {
		List<OOMObject> list = new ArrayList<OOMObject>();
		while (true) {
			list.add(new OOMObject());
		}
	}
}

错误信息：

java.lang.OutOfMemoryError: Java heap space
Dumping heap to java_pid9677.hprof ...
Heap dump file created [28204543 bytes in 0.107 secs]
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
...

处理方法：常规的处理方法是首先通过内存映像分析工具(如Eclipse Memory Analyzer)对Dump出来的堆转储快照进行分析。
首先应确认内存中导致OOM的对象是否是必要的,也就是要先分清楚到底是出现了内存泄漏(Memory Leak)还是内存溢出(Memory Overflow)。

• 内存泄漏：可进一步通过工具查看泄漏对象到GC Roots的引用链,找到泄漏对象是通过怎样的引用路径、与哪些GC Roots相关联,才导致垃圾收集器无法回收它们。
• 内存溢出：检查Java虚拟机的堆参数(-Xmx与-Xms)设置,与机器的内存对比,看看是否还有向上调整的空间。再从代码上检查是否存在某些对象生命周期过长、持有状态时间过长、存储结构设计不合理等情况,尽量减少程序运行期的内存消耗。

2. 虚拟机栈和本地方法栈溢出

由于HotSpot虚拟机中并不区分虚拟机栈和本地方法栈,因此对于HotSpot来说,-Xoss参数(设置本地方法栈大小)虽然存在,但实际上是没有任何效果的,栈容量只能由-Xss参数来设定。

HotSpot虚拟机不支持栈的动态扩展,所以除非在创建线程申请内存时就因无法获得足够内存而出现OutOfMemoryError异常,否则在线程运行时是不会因为扩展而导致内存溢出的,只会因为栈容量无法容纳新的栈帧而导致StackOverflowError异常。

测试用例：

java -Xss256k JavaVMStackSOF

public class JavaVMStackSOF {
	private int stackLength = 1;
	public void stackLeak() {
		stackLength++;
		stackLeak();
	}
	public static void main(String[] args) throws Throwable {
		JavaVMStackSOF oom = new JavaVMStackSOF();
		try {
			oom.stackLeak();
		} catch (Throwable e) {
			System.out.println("stack length:" + oom.stackLength);
			throw e;
		}
	}
}

错误信息：

stack length:2030
Exception in thread "main" java.lang.StackOverflowError
...

如果测试时不限于单线程,通过不断建立线程的方式,在HotSpot上可以产生内存溢出异常。但是这样产生的内存溢出异常和栈空间是否足够并不存在任何直接的关系,而是主要取决于操作系统内存使用状态。在这种情况下,给每个线程的栈分配的内存越大,反而越容易产生内存溢出异常。

原因：
操作系统分配给每个进程的内存是有限制的。HotSpot虚拟机提供了参数可以控制Java堆和方法区这两部分的内存的最大值,那剩余的内存就几乎由虚拟机栈和本地方法栈来分配了。因此为每个线程分配到的栈内存越大,可以建立的线程数量自然就越少,建立线程时就越容易把剩下的内存耗尽。

测试用例：

java -Xss2M JavaVMStackOOM

public class JavaVMStackOOM {
	private void dontStop() {
		while (true) {
		}
	}
	public void stackLeakByThread() {
		while (true) {
			Thread thread = new Thread(new Runnable() {
				@Override
				public void run() {
					dontStop();
				}
			});
			thread.start();
		}
	}
	public static void main(String[] args) throws Throwable {
		JavaVMStackOOM oom = new JavaVMStackOOM();
		oom.stackLeakByThread();
	}
}

错误信息：

Exception in thread "main" java.lang.OutOfMemoryError: unable to create native thread

处理方法：在不能减少线程数量或者更换64位虚拟机的情况下,就只能通过减少最大堆和减少栈容量来换取更多的线程。

3. 方法区和运行时常量池溢出

HotSpot从JDK 7开始逐步“去永久代”的计划,并在JDK 8中完全使用元空间来代替永久代。

在JDK 6或更早之前的HotSpot虚拟机中,常量池都是分配在永久代中,我们可以通过-XX:PermSize和-XX:MaxPermSize限制永久代的大小,即可间接限制其中常量池的容量。

测试用例：

java -XX:PermSize=6M -XX:MaxPermSize=6M RuntimeConstantPoolOOM

public class RuntimeConstantPoolOOM {
	public static void main(String[] args) {
		// 使用Set保持着常量池引用,避免Full GC回收常量池行为
		Set<String> set = new HashSet<String>();
		// 在short范围内足以让6MB的PermSize产生OOM了
		short i = 0;
		while (true) {
			set.add(String.valueOf(i++).intern());
		}
	}
}

错误信息：

Exception in thread "main" java.lang.OutOfMemoryError: PermGen space
	at java.lang.String.intern(Native Method)
	...

而使用JDK 7或更高版本的JDK来运行这段程序并不会得到相同的结果。循环将一直进行下去,永不停歇。因为自JDK 7起,原本存放在永久代的字符串常量池被移至Java堆之中,所以在JDK 7及以上版本,限制方法区的容量对该测试用例来说是毫无意义的。这时候使用-Xmx参数限制最大堆到6MB会抛出异常。

测试用例：

java -Xmx6M RuntimeConstantPoolOOM

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
	at java.base/java.lang.Integer.toString(Integer.java:440)
	at java.base/java.lang.String.valueOf(String.java:3058)
	at RuntimeConstantPoolOOM.main(RuntimeConstantPoolOOM.java:10)

String.intern()：
String.intern()是一个本地方法,它的作用是如果字符串常量池中已经包含一个等于此String对象的字符串,则返回代表池中这个字符串的String对象的引用;否则,会将此String对象包含的字符串添加到常量池中,并且返回此String对象的引用。

测试用例：

public class RuntimeConstantPoolOOM {
	public static void main(String[] args) {
		String str1 = new StringBuilder("计算机").append("软件").toString();
		System.out.println(str1.intern() == str1);

		String str2 = new StringBuilder("ja").append("va").toString();
		System.out.println(str2.intern() == str2);
	}
}

JDK 6：

false
false

JDK 7：

true
false

原因：

• 在JDK 6中,intern()方法会把首次遇到的字符串实例复制到永久代的字符串常量池中存储,返回的也是永久代里面这个字符串实例的引用,而由StringBuilder创建的字符串对象实例在Java堆上,所以必然不可能是同一个引用,结果将返回false。
• 在JDK 7中,intern()方法实现就不需要再拷贝字符串的实例到永久代了,既然字符串常量池已经移到Java堆中,那只需要在常量池里记录一下首次出现的实例引用即可,因此intern()返回的引用和由StringBuilder创建的那个字符串实例就是同一个。
• 而对str2比较返回false,这是因为“java” 这个字符串在执行StringBuilder.toString()之前就已经出现过了(在加载sun.misc.Version类的时候进入常量池),字符串常量池中已经有它的引用,因此结果返回true。

方法区的主要职责是用于存放类型的相关信息,如类名、访问修饰符、常量池、字段描述、方法描述等。对于这部分区域的测试,基本的思路是运行时产生大量的类去填满方法区,直到溢出为止。

测试用例：

java -XX:PermSize=10M -XX:MaxPermSize=10M JavaMethodAreaOOM

// 借助CGLib直接操作字节码运行时生成大量动态类
public class JavaMethodAreaOOM {
	public static void main(String[] args) {
		while (true) {
			Enhancer enhancer = new Enhancer();
			enhancer.setSuperclass(OOMObject.class);
			enhancer.setUseCache(false);
			enhancer.setCallback(new MethodInterceptor() {
				public Object intercept(Object obj, Method method, Object[] args, MethodProxy proxy) t
				return proxy.invokeSuper(obj, args);
			}
		});
			enhancer.create();
		}
	}
	static class OOMObject {
	}
}

错误信息(JDK 7)：

Caused by: java.lang.OutOfMemoryError: PermGen space

4. 直接内存溢出

直接内存的容量大小可通过-XX:MaxDirectMemorySize参数来指定,默认与Java堆最大值一致。

测试用例：

java -Xmx20m -XX:MaxDirectMemorySize=10M

public class DirectMemoryOOM {
	private static final int _1MB = 1024 * 1024;
	public static void main(String[] args) throws Exception {
		Field unsafeField = Unsafe.class.getDeclaredFields()[0];
		unsafeField.setAccessible(true);
		Unsafe unsafe = (Unsafe) unsafeField.get(null);
		while (true) {
			unsafe.allocateMemory(_1MB);
		}
	}
}

错误信息：

Exception in thread "main" java.lang.OutOfMemoryError
...

由直接内存导致的内存溢出,一个明显的特征是在Heap Dump文件中
不会看见有什么明显的异常情况,如果读者发现内存溢出之后产生的Dump
文件很小,而程序中又直接或间接使用了DirectMemory(典型的间接使用
就是NIO),那就可以考虑重点检查一下直接内存方面的原因了。

参考资料：《深入理解Java虚拟机:JVM高级特性与最佳实践(第3版)》 周志明 著