[转载] 深入了解Java ClassLoader、Bytecode 、ASM、cglib

转载自http://www.iteye.com/topic/98178

 

一、Java ClassLoader 

1，什么是ClassLoader 
与 C 或 C++ 编写的程序不同，Java 程序并不是一个可执行文件，而是由许多独立的类文件组成，每一个文件对应于一个 Java 类。 
此外，这些类文件并非立即全部都装入内存，而是根据程序需要装入内存。ClassLoader 是 JVM 中将类装入内存的那部分。 
而且，Java ClassLoader 就是用 Java 语言编写的。这意味着创建您自己的 ClassLoader 非常容易，不必了解 JVM 的微小细节。 

2，一些重要的方法 
A)loadClass 
ClassLoader.loadClass() 是ClassLoader的入口点。该方法的定义为：Class loadClass( String name, boolean resolve ); 
name：JVM 需要的类的名称，如 Foo 或 java.lang.Object。 
resolve：参数告诉方法是否需要解析类。 

B)defineClass 
defineClass方法是ClassLoader的主要诀窍。该方法接受由原始字节组成的数组并把它转换成Class对象。 

C)findSystemClass 
findSystemClass方法从本地文件系统中寻找类文件，如果存在，就使用defineClass将原始字节转换成Class对象，以将该文件转换成类。 

D)resolveClass 
可以不完全地(不带解析)装入类，也可以完全地(带解析)装入类。当编写我们自己的loadClass时可以调用resolveClass，这取决于loadClass的resolve参数的值。 

E)findLoadedClass 
findLoadedClass充当一个缓存：当请求loadClass装入类时，它调用该方法来查看ClassLoader是否已装入这个类，这样可以避免重新装入已存在类所造成的麻烦。 

3，Java2中ClassLoader的变动 
1)loadClass的缺省实现 
在Java2中loadClass的实现嵌入了大多数查找类的一般方法，并使您通过覆盖findClass方法来定制它，在适当的时候findClass会调用loadClass。 
这种方式的好处是可能不一定要覆盖loadClass，只要覆盖findClass就行了，这减少了工作量。 

2)新方法:findClass 
loadClass的缺省实现调用这个新方法。 

3)新方法:getSystemClassLoader 
如果覆盖findClass或loadClass，getSystemClassLoader让我们以实际ClassLoader对象来访问系统ClassLoader，而不是固定的从findSystemClass 调用它。 

4)新方法:getParent 
为了将类请求委托给父ClassLoader，这个新方法允许ClassLoader获取它的父ClassLoader。 

4，定制ClassLoader 
其实我们或多或少都使用过定制的ClassLoader，因为Applet查看器中就包含一个定制的ClassLoader。 
它不在本地文件系统中寻找类，而是访问远程服务器上的 Web 站点，经过 HTTP 装入原始的字节码文件，并把它们转换成JVM 内的类。 
Applet查看器中的ClassLoader还可以做其它事情：它们支持安全性以及使不同的Applet在不同的页面上运行而互不干扰。 
我们将写一个自己的ClassLoader实现示例，它将实现如下步骤，这也是ClassLoader的工作原理: 
# 调用 findLoadedClass 来查看是否存在已装入的类。 
# 如果没有，那么采用那种特殊的神奇方式来获取原始字节。 
# 如果已有原始字节，调用defineClass将它们转换成Class对象。 
# 如果没有原始字节，然后调用findSystemClass查看是否从本地文件系统获取类。 
# 如果resolve参数是true，那么调用resolveClass解析Class对象。 
# 如果还没有类，返回ClassNotFoundException。 
# 否则，将类返回给调用程序。 
话不多说，看看代码先: 
FileClassLoader.java: 

import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;

public class FileClassLoader extends ClassLoader {
  public Class findClass(String name) {
    byte[] data = loadClassData(name);
    return defineClass(name, data, 0, data.length);
  }

  private byte[] loadClassData(String name) {
    FileInputStream fis = null;
    byte[] data = null;
    try {
      fis = new FileInputStream(new File("D:\project\test\" + name + ".class"));
      ByteArrayOutputStream baos = new ByteArrayOutputStream();
      int ch = 0;
      while ((ch = fis.read()) != -1) {
        baos.write(ch);
      }
      data = baos.toByteArray();
    } catch (IOException e) {
      e.printStackTrace();
    }
    return data;
  }
}

MyApp.java: 

public class MyApp {
  public static void main(String[] args) throws Exception {
    FileClassLoader loader = new FileClassLoader();
    Class objClass = loader.findClass("MyApp");
    Object obj = objClass.newInstance();
    System.out.println(objClass.getName());
    System.out.println(objClass.getClassLoader());
    System.out.println(obj);
  }
}

编译并运行MyApp类，结果为: 

MyApp
FileClassLoader@757aef
MyApp@9cab16

二、Bytecode 

1，什么是Bytecode 
C/C++编译器把源代码编译成汇编代码，Java编译器把Java源代码编译成字节码bytecode。 
Java跨平台其实就是基于相同的bytecode规范做不同平台的虚拟机，我们的Java程序编译成bytecode后就可以在不同平台跑了。 
.net框架有IL(intermediate language)，汇编是C/C++程序的中间表达方式，而bytecode可以说是Java平台的中间语言。 
了解Java字节码知识对debugging、performance tuning以及做一些高级语言扩展或框架很有帮助。 

2，使用javap生成Bytecode 
JDK自带的javap.exe文件可以反汇编Bytecode，让我们看个例子: 
Test.java: 

public class Test {
  public static void main(String[] args) {
    int i = 10000;
    System.out.println("Hello Bytecode! Number = " + i);
  }
}

编译后的Test.class: 

漱壕   1 +
       
   
  
  
  
    
 <init>
 ()V
 Code
 LineNumberTable
 main
 ([Ljava/lang/String;)V

SourceFile
   Test.java
   ! "
 java/lang/StringBuilder
 Hello Bytecode! Number =  # $ # % & ' ( ) *
 Test
 java/lang/Object
 java/lang/System
 out
 Ljava/io/PrintStream;
 append
 -(Ljava/lang/String;)Ljava/lang/StringBuilder;
 (I)Ljava/lang/StringBuilder;
 toString
 ()Ljava/lang/String;
 java/io/PrintStream
 println
 (Ljava/lang/String;)V !
       

 
     
 
   * 
   
     
   
      
    >     '<  Y          
             
     

使用javap -c Test > Test.bytecode生成的Test.bytecode: 

Compiled from "Test.java"
public class Test extends java.lang.Object{
public Test();
  Code:
   0:  aload_0
   1:  invokespecial  #1; //Method java/lang/Object."<init>":()V
   4:  return

public static void main(java.lang.String[]);
  Code:
   0:  sipush  10000
   3:  istore_1
   4:  getstatic  #2; //Field java/lang/System.out:Ljava/io/PrintStream;
   7:  new  #3; //class java/lang/StringBuilder
   10:  dup
   11:  invokespecial  #4; //Method java/lang/StringBuilder."<init>":()V
   14:  ldc  #5; //String Hello Bytecode! Number =
   16:  invokevirtual  #6; //Method java/lang/StringBuilder.append:(Ljava/lang/String;)Ljava/lang/StringBuilder;
   19:  iload_1
   20:  invokevirtual  #7; //Method java/lang/StringBuilder.append:(I)Ljava/lang/StringBuilder;
   23:  invokevirtual  #8; //Method java/lang/StringBuilder.toString:()Ljava/lang/String;
   26:  invokevirtual  #9; //Method java/io/PrintStream.println:(Ljava/lang/String;)V
   29:  return

}

JVM就是一个基于stack的机器，每个thread拥有一个存储着一些frames的JVM stack，每次调用一个方法时生成一个frame。 
一个frame包括一个local variables数组(本地变量表)，一个Operand LIFO stack和运行时常量池的一个引用。 

我们来简单分析一下生成的字节码指令: 
aload和iload指令的“a”前缀和“i”分别表示对象引用和int类型，其他还有“b”表示byte，“c”表示char，“d”表示double等等 
我们这里的aload_0表示将把local variable table中index 0的值push到Operand stack，iload_1类似 
invokespecial表示初始化对象，return表示返回 
sipush表示把10000这个int值push到Operand stack 
getstatic表示取静态域 
invokevirtual表示调用一些实例方法 
这些指令又称为opcode，Java一直以来只有约202個Opcode，具体请参考Java Bytecode规范。 

我们看到Test.class文件不全是二进制的指令，有些是我们可以识别的字符，这是因为有些包名、类名和常量字符串没有编译成二进制Bytecode指令。 

3，体验字节码增强的魔力 
我们J2EE常用的Hibernate、Spring都用到了动态字节码修改来改变类的行为。 
让我们通过看看ASM的org.objectweb.asm.MethodWriter类的部分方法来理解ASM是如何修改字节码的: 

class MethodWriter implements MethodVisitor {

    private ByteVector code = new ByteVector();

    public void visitIntInsn(final int opcode, final int operand) {
        // Label currentBlock = this.currentBlock;
        if (currentBlock != null) {
            if (compute == FRAMES) {
                currentBlock.frame.execute(opcode, operand, null, null);
            } else if (opcode != Opcodes.NEWARRAY) {
                // updates current and max stack sizes only for NEWARRAY
                // (stack size variation = 0 for BIPUSH or SIPUSH)
                int size = stackSize + 1;
                if (size > maxStackSize) {
                    maxStackSize = size;
                }
                stackSize = size;
            }
        }
        // adds the instruction to the bytecode of the method
        if (opcode == Opcodes.SIPUSH) {
            code.put12(opcode, operand);
        } else { // BIPUSH or NEWARRAY
            code.put11(opcode, operand);
        }
    }

    public void visitMethodInsn(
        final int opcode,
        final String owner,
        final String name,
        final String desc)
    {
        boolean itf = opcode == Opcodes.INVOKEINTERFACE;
        Item i = cw.newMethodItem(owner, name, desc, itf);
        int argSize = i.intVal;
        // Label currentBlock = this.currentBlock;
        if (currentBlock != null) {
            if (compute == FRAMES) {
                currentBlock.frame.execute(opcode, 0, cw, i);
            } else {
                /*
                 * computes the stack size variation. In order not to recompute
                 * several times this variation for the same Item, we use the
                 * intVal field of this item to store this variation, once it
                 * has been computed. More precisely this intVal field stores
                 * the sizes of the arguments and of the return value
                 * corresponding to desc.
                 */
                if (argSize == 0) {
                    // the above sizes have not been computed yet,
                    // so we compute them...
                    argSize = getArgumentsAndReturnSizes(desc);
                    // ... and we save them in order
                    // not to recompute them in the future
                    i.intVal = argSize;
                }
                int size;
                if (opcode == Opcodes.INVOKESTATIC) {
                    size = stackSize - (argSize >> 2) + (argSize & 0x03) + 1;
                } else {
                    size = stackSize - (argSize >> 2) + (argSize & 0x03);
                }
                // updates current and max stack sizes
                if (size > maxStackSize) {
                    maxStackSize = size;
                }
                stackSize = size;
            }
        }
        // adds the instruction to the bytecode of the method
        if (itf) {
            if (argSize == 0) {
                argSize = getArgumentsAndReturnSizes(desc);
                i.intVal = argSize;
            }
            code.put12(Opcodes.INVOKEINTERFACE, i.index).put11(argSize >> 2, 0);
        } else {
            code.put12(opcode, i.index);
        }
    }
}

通过注释我们可以大概理解visitIntInsn和visitMethodInsn方法的意思。 
比如visitIntInsn先计算stack的size，然后根据opcode来判断是SIPUSH指令还是BIPUSH or NEWARRAY指令，并相应的调用字节码修改相关的方法。

三、ASM 
我们知道Java是静态语言，而python、ruby是动态语言，Java程序一旦写好很难在运行时更改类的行为，而python、ruby可以。
不过基于bytecode层面上我们可以做一些手脚，来使Java程序多一些灵活性和Magic，ASM就是这样一个应用广泛的开源库。 

ASM is a Java bytecode manipulation framework. It can be used to dynamically generate stub classes or other proxy classes, 
directly in binary form, or to dynamically modify classes at load time, i.e., just before they are loaded into the Java 
Virtual Machine. 

ASM完成了BCEL和SERP同样的功能，但ASM 
只有30多k，而后两者分别是350k和150k。apache真是越来越过气了。 

让我们来看一个ASM的简单例子Helloworld.java，它生成一个Example类和一个main方法，main方法打印"Hello world!"语句: 

import java.io.FileOutputStream;
import java.io.PrintStream;

import org.objectweb.asm.ClassWriter;
import org.objectweb.asm.MethodVisitor;
import org.objectweb.asm.Opcodes;
import org.objectweb.asm.Type;
import org.objectweb.asm.commons.GeneratorAdapter;
import org.objectweb.asm.commons.Method;

public class Helloworld extends ClassLoader implements Opcodes {

  public static void main(final String args[]) throws Exception {

    // creates a ClassWriter for the Example public class,
    // which inherits from Object

    ClassWriter cw = new ClassWriter(0);
    cw.visit(V1_1, ACC_PUBLIC, "Example", null, "java/lang/Object", null);
    MethodVisitor mw = cw.visitMethod(ACC_PUBLIC, "<init>", "()V", null,
        null);
    mw.visitVarInsn(ALOAD, 0);
    mw.visitMethodInsn(INVOKESPECIAL, "java/lang/Object", "<init>", "()V");
    mw.visitInsn(RETURN);
    mw.visitMaxs(1, 1);
    mw.visitEnd();
    mw = cw.visitMethod(ACC_PUBLIC + ACC_STATIC, "main",
        "([Ljava/lang/String;)V", null, null);
    mw.visitFieldInsn(GETSTATIC, "java/lang/System", "out",
        "Ljava/io/PrintStream;");
    mw.visitLdcInsn("Hello world!");
    mw.visitMethodInsn(INVOKEVIRTUAL, "java/io/PrintStream", "println",
        "(Ljava/lang/String;)V");
    mw.visitInsn(RETURN);
    mw.visitMaxs(2, 2);
    mw.visitEnd();
    byte[] code = cw.toByteArray();
    FileOutputStream fos = new FileOutputStream("Example.class");
    fos.write(code);
    fos.close();
    Helloworld loader = new Helloworld();
    Class exampleClass = loader
        .defineClass("Example", code, 0, code.length);
    exampleClass.getMethods()[0].invoke(null, new Object[] { null });

    // ------------------------------------------------------------------------
    // Same example with a GeneratorAdapter (more convenient but slower)
    // ------------------------------------------------------------------------

    cw = new ClassWriter(ClassWriter.COMPUTE_MAXS);
    cw.visit(V1_1, ACC_PUBLIC, "Example", null, "java/lang/Object", null);
    Method m = Method.getMethod("void <init> ()");
    GeneratorAdapter mg = new GeneratorAdapter(ACC_PUBLIC, m, null, null,
        cw);
    mg.loadThis();
    mg.invokeConstructor(Type.getType(Object.class), m);
    mg.returnValue();
    mg.endMethod();
    m = Method.getMethod("void main (String[])");
    mg = new GeneratorAdapter(ACC_PUBLIC + ACC_STATIC, m, null, null, cw);
    mg.getStatic(Type.getType(System.class), "out", Type
        .getType(PrintStream.class));
    mg.push("Hello world!");
    mg.invokeVirtual(Type.getType(PrintStream.class), Method
        .getMethod("void println (String)"));
    mg.returnValue();
    mg.endMethod();
    cw.visitEnd();
    code = cw.toByteArray();
    loader = new Helloworld();
    exampleClass = loader.defineClass("Example", code, 0, code.length);
    exampleClass.getMethods()[0].invoke(null, new Object[] { null });
  }
}

我们看到上面的例子分别使用ASM的MethodVisitor和GeneratorAdapter两种方式来动态生成Example类并调用打印语句。

四、cglib 
cglib is a powerful, high performance and quality Code Generation Library, It is used to extend JAVA classes and implements interfaces at runtime. 
cglib是Code Generation Library的缩写。 
cglib依赖于ASM库。 
Hibernate主要是利用cglib生成pojo的子类并override get方法来实现lazy loading机制，Spring则是利用cglib来实现动态代理。 
而JDK的动态代理机制要求有接口才行，这样就强制我们的pojo实现某个接口。 

这里还是提供一个cglib的入门级的示例: 
MyClass.java: 

public class MyClass {

  public void print() {
    System.out.println("I'm in MyClass.print!");
  }

}

Main.java: 

import java.lang.reflect.Method;
import net.sf.cglib.proxy.Enhancer;
import net.sf.cglib.proxy.MethodInterceptor;
import net.sf.cglib.proxy.MethodProxy;

public class Main {

  public static void main(String[] args) {

    Enhancer enhancer = new Enhancer();
    enhancer.setSuperclass(MyClass.class);
    enhancer.setCallback(new MethodInterceptorImpl());
    MyClass my = (MyClass) enhancer.create();
    my.print();
  }

  private static class MethodInterceptorImpl implements MethodInterceptor {
    public Object intercept(Object obj, Method method, Object[] args,
        MethodProxy proxy) throws Throwable {
      // log something
      System.out.println(method + " intercepted!");

      proxy.invokeSuper(obj, args);
      return null;
    }
  }
}

打印结果为: 

public void MyClass.print() intercepted!
I'm in MyClass.print!

这个示例就基本上实现了日志AOP的功能，很简单吧。 

参考资料 
CLR和JRE的运行机制的初步总结 
Java虚拟机 
了解Java ClassLoader 
Java Virtual Machine Specification 
Java bytecode 
解读字节码文件 
Java Bytecode Specification and Verification 
ASM User Guide 
Hello, ASM 
cglig指南 
Java下的框架编程--cglib的应用 
AOP = Proxy Pattern + Method Reflection + Aspect DSL + 自动代码生成 
深入浅出Spring AOP