URLConnection类详解

为了防止无良网站的爬虫抓取文章，特此标识，转载请注明文章出处。LaplaceDemon/SJQ。

http://www.cnblogs.com/shijiaqi1066/p/3753224.html

1. URLConnection概述

URLConnection是一个抽象类，表示指向URL指定资源的活动连接。

URLConnection类本身依赖于Socket类实现网络连接。一般认为，URLConnection类提供了比Socket类更易于使用、更高级的网络连接抽象。但实际上，大多数程序员都会忽略它。因为URLConnection太贴近HTTP协议。它假定传输的内容前面都有MIME首部或类似的东西。但大多数协议（如FTP和SMTP）并不使用MIME首部。

URLConnection继承树查看如下：

 

 

URLConnection类声明为抽象类，除了connect()方法，其他方法都已经实现。URLConnection的三个实现子类都位于sun.net.www包下。

URLConnection类的保护类型的构造方法：

protected URLConnection(URL url)

　　构造一个到指定 URL 的 URL 连接。

 

connect()方法由子类实现本地与服务器的连接方式。一般使用TCP socket，但也可以使用其他其他机制来建立。

abstract  void connect()

　　打开到此 URL 引用的资源的通信链接（如果尚未建立这样的连接）。

 

当派生URLConnection子类时，通常会覆盖URLConnection的其他方法，使其返回有意义的值。

1.1 读取首部

String getContentType()

　　返回 Content-type 头字段的值。即数据的MIME内容类型。若类型不可用，则返回null。

　　除了HTTP协议，极少协议会使用MIME首部。若内容类型是文本。则Content-type首部可能会包含一个标识内容编码方式的字符集。

例：Content-type:text/html; charset=UTF-8

int getContentLength()

　　返回 Content-length 头字段的值。该方法获取内容的字节数。许多服务器只有在传输二进制文件才发送Content-length首部，在传输文本文件时并不发送。若没有该首部，则返回-1。

　　若需要知道读取的具体字节数，或需要预先知道创建足够大的缓冲区来保存数据时，可以使用该方法。

String getContentEncoding()

　　返回 Content-encoding 头字段的值。获取内容的编码方式。若内容无编码，则该方法返回null。

　　注意：Content-encoding(内容编码)与字符编码不同。字符编码方式由Content-type首部或稳定内容的信息确定，它指出如何使用字节指定字符。内容编码方式则指出字节如何编码其他字节。

例：若编码格式为x-gzip，则可以使用java.util.zip.GZipInputStream来解码。

long getDate()

　　返回 date 头字段的值。获取请求的发送时间。即自1900年1月1日子夜后过去的毫秒数。

　　注意：这是从服务器的角度看到的发送时间。可能与本地时间不一致。若首部不包括Date字段，则返回0。

long getExpiration()

　　返回 expires 头字段的值。获取Expires的值。若无该字段，则返回0。0即表示不过期，永远缓存。

　　注意：该值是自1970年1月1日上午12:00后的毫秒数。

long getLastModified()

　　返回 last-modified 头字段的值。该值是自1900年1月1日子夜后过去的毫秒数。若无该字段，则返回0。

1.2 获取任意首部字段

String getHeaderField(String name)

　　返回指定的头字段的值。

Map<String,List<String>> getHeaderFields()

　　返回头字段的不可修改的 Map。

String getHeaderFieldKey(int n)

　　返回第 n 个头字段的键。

String getHeaderField(int n)

　　返回第 n 个头字段的值。

long getHeaderFieldDate(String name, long Default)

　　返回解析为日期的指定字段的值。

int getHeaderFieldInt(String name, int Default)

　　返回解析为数字的指定字段的值。

1.3 配置连接

URLConnection类的保护类型字段如下：

protected  URL url

　　该字段指定URLConnection连接的URL。构造函数会在创建URLConnection时设置，此后就不能再改变。

protected  boolean connected

　　当连接打开时，该字段为true。若连接关闭，则为false。没有直接读取或改变connected值的方法。任何导致URLConnection连接的方法都会将此变量设为true，包括connect()，getInputStream()，和getOutputStream()。

　　任何导致URLConnection断开的方法都会将此字段设为false。

　　java.net.URLConnection没有断开方法，但一些子类，如java.net.HttpURLConnection中存在这样的方法。

protected  boolean allowUserInteraction

　　该字段表示是否允许与用户交互。默认为false，即不允许交互。该值只能在URLConnection连接前设置。

例：Web浏览器可能需要访问用户名和口令。

protected  boolean doInput

　　该字段在URLConnection可用于输入时为true，否则为false。默认为true。

protected  boolean doOutput

　　该字段在URLConnection可用于输出时为true，否则为false。默认为false。

protected  long ifModifiedSince

　　该字段指示了将放置If-Modified-Since首部字段中的日期（格林威治标准时间1970年1月1日子夜后的毫秒数）。

protected  boolean useCaches

　　该字段指定了是否可以在缓存可用时使用缓存。默认为true，表示缓存将被使用；false表示缓存不被使用。

以上字段定义了客户端如何向服务器作出请求。这些字段只能在URLConnection连接前修改。否则抛出IllegalStateException异常。

每个字段都有一些相应的方法。

• URL getURL()
• void setDoInput(boolean doinput)
• boolean getDoInput()
• void setDoOutput(boolean dooutput)
• boolean getDoOutput()
• void setUseCaches(boolean usecaches)
• boolean getUseCaches()
• void setAllowUserInteraction(boolean allowuserinteraction)
• boolean getAllowUserInteraction()
• void setIfModifiedSince(long ifmodifiedsince)
• long getIfModifiedSince()

还有一些方法，这些方法用于定义和获取URLConnection对象的默认行为：

• static boolean getDefaultAllowUserInteraction()
• boolean getDefaultUseCaches()
• void setDefaultUseCaches(boolean defaultusecaches)
• static void setDefaultAllowUserInteraction(boolean defaultallowuserinteraction)
• static void setFileNameMap(FileNameMap map)
• static FileNameMap getFileNameMap()

1.4 关于超时

Java 1.5增加了如下4个方法，允许查询和修改连接的超时值。即底层socket在抛出SocketTimeoutException异常前等待远端响应时间。

设置获取读取的超时值，单位为毫秒。

int getReadTimeout()

void setReadTimeout(int timeout)

　　设置获取连接的超时值，单位为毫秒。

 

int getConnectTimeout()

void setConnectTimeout(int timeout)

　　这四个方法将0解释为永不超时。如果超时值为负数。两个设置方法都会抛出IllegalArgumentException异常。

1.5 配置HTTP首部

客户端向服务器发送请求，不仅会发送请求行，还发送首部。Web服务器可以根据此信息向不同客户端提供不同的页面，获取和设置cookie，通过口令设置用户等等。通过在客户端发送和服务器响应的首部中放置不同的字段，就可以完成这些工作。

每个URLConnection的具体子类都在首部中设置一些默认的键值对（实际上只有HttpURLConnection这样做，因为HTTP是唯一以这种方式使用首部的主要协议。）

通过以下方法可以设置URLConnection在打开连接增加HTTP首部：

void setRequestProperty(String key, String value)

　　此方法只在连接打开之前打开，将会抛出IllegalStateException异常。但该方法仅支持对一个首部设置一个值。

HTTP允许一个熟悉有多个值。各个值之间用逗号隔开。

例：cookie:username=sjq; session=hdfu23asdjf901j;

使用如下方法为首部增加值：

void addRequestProperty(String key, String value)

　　该方法用于添加某个指定首部字段的值。

使用如下方法获取首部字段：

String getRequestProperty(String key)

Map<String,List<String>> getRequestProperties()

　　以上方法用于获取URLConneciton所拥有HTTP首部。

1.6 使用URLConnection与服务器交互

InputStream getInputStream()

　　返回从此打开的连接读取的输入流。

OutputStream getOutputStream()

　　返回写入到此连接的输出流。

若只是向服务器请求数据，则为HTTP请求方法为GET。

若需要向服务器提交数据，必须在先调用setDoOutput(true)。当doOutput属性为true时，请求方法将由GET变为POST。

例：获URLConnection实例对象。

@Test
public void test(){
    try {
        URL url = new URL("http://www.baidu.com");
        URLConnection uc = url.openConnection();
    } catch (MalformedURLException e) {
        e.printStackTrace();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

例：使用URLConnection请求Baidu首页。

该程序请求方法为get。使用getInputStream()方法输出的内容只有响应体，不包含响应的首部。

	@Test
	public void testGetInputStream(){
		InputStream in = null;
		try {
			//连接
			URL url = new URL("http://www.baidu.com");
			URLConnection uc = url.openConnection();
			
			//获取读入流
			in = uc.getInputStream();
			//放入缓存流
			InputStream raw = new BufferedInputStream(in);
			//最后使用Reader接收
			Reader r = new InputStreamReader(raw);
			
			//打印输出
			int c;
			while((c = r.read())>0){
				System.out.print((char)c);
			}
			
		} catch (MalformedURLException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		} finally{
			try {
				if(in!=null){
					in.close();
				}
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
	}    

1.6 获得内容

Object getContent()

　　该方法实质上与URL类的getContent()方法相同。使用该方法JVM需要识别和理解该内容类型。该方法只用于支持类似HTTP的协议，协议需要对MIME内容类型有较清楚的了解。若内容未知，或协议无法理解内容类型，getContent()会抛出一个UnknowServiceException异常。

Object getContent(Class[] classes)

　　该方法可以选择将内容转换为哪个类对象，以提供数据的不同对象表示。该方法尝试以classes数组中某个类的形式返回内容。优先顺序就是数组的顺序。若任何一种请求类型都不可用，此方法会返回null。

1.7 ContentHandlerFactory

URLConnection类包括一个静态的ContentHandler。即内容处理器。通过以下方法设置内容处理器工厂。

static void setContentHandlerFactory(ContentHandlerFactory fac)

1.8 URLConnection的安全

建立网络连接、读写文件等等存在一些安全限制，URLConnection对象会受到这些安全限制的约束。

Permission getPermission()

　　该方法返回Permission对象，指出连接此URL所需的许可权。如果没有所需的许可权（即没有适当的安全管理器），它就会返回null。

1.9 猜测MIME内容类型

static String guessContentTypeFromName(String fname)

　　根据 URL 的指定 "file" 部分尝试确定对象的内容类型。

static String guessContentTypeFromStream(InputStream is)

　　根据输入流的开始字符尝试确定输入流的类型。

2. HttpURLConnection

java.net.HttpURLConnection类是URLConnection的抽象子类；它提供了一些有助于专门操作http URL的额外方法。

sun.net.www.protocol.http包中也提供了一个HttpURLConnection类。该类实现了抽象的connect()方法。但一般很少直接访问该类。

2.1 获取HttpURLConnection对象

@Test
void testHttpURLConnection(){
    try {
        URL url = new URL("http:www.baidu.com");
        URLConnection urlConnection = url.openConnection();
        HttpURLConnection httpURLConnection = (HttpURLConnection)urlConnection;
    } catch (MalformedURLException e) {
        e.printStackTrace();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

2.2 请求方法

HTTP协议提供了7中请求方法：

• GET
• POST
• HEAD
• PUT
• OPTIONS
• DELETE
• TRACE

通过以下方法设置请求方法：

void setRequestMethod(String method)

若请求不是7个方法的字符串，则会抛出java.net.ProtocolException异常。一般只设置请求方法是不够的，还需要调整HTTP首部，还要提供消息体。

以下方法获取HTTP请求方法

String getRequestMethod()

2.3 断开与服务器的连接

HTTP的Keep-Alive对Web连接的性能有所提升，允许多个请求和响应通过一个TCP连接连续发送。

客户端通过HTTP请求首部包含Connection字段及Keep-Alive，表示客户端愿意使用Keep-Alive：

　　Connection: Keep-Alive

但当使用Keep-Alive时，服务器不再因为向客户端发送最后一个字节数据就关闭连接。毕竟客户端还可能发送另一个请求。因此客户端需要复杂关闭连接。

Java提供如下方法关闭连接，实际上很少使用该方法：

abstract  void disconnect()

2.4 获取请求

如果HTTP响应状态为4xx（客户端错误）或者5xx（服务器错误），你可以通过HttpUrlConnection.getErrorStream()来查看服务器发送过来的信息。

InputStream getErrorStream()

例：

InputStream error = ((HttpURLConnection) connection).getErrorStream();

如果HTTP响应状态为-1，就是出现了连接错误。HttpURLConnection会保持连接一直可用，如果你想关闭这个特性，需要把http.keepAlive设置为false：

System.setProperty("http.keepAlive", "false");

2.5 Http响应码

HTTP响应的第一行被称为消息响应。该信息不会被URLConnection的getHeaderFiled()方法读取。

String getResponseMessage()

　　返回消息响应。如：HTTP/1.1 404 Not Found

int getResponseCode()

　　返回消息响应码。如：404。

HttpURLConnection类提供了常见响应码常量。具体请参考JDK文档。

2.6 重定向

默认情况下，HttpURLConnection类会跟踪重定向。但HttpURLConnection有两个静态方法，可以确定是否跟随重定向。

static void setFollowRedirects(boolean set)

static boolean getFollowRedirects()

　　若跟随，则为true，否则为false。

这两个是静态方法，它们会改变该方法后构造的所有HttpURLConnection对象的行为。若安全管理器不允许其改变，则会抛出SecurityException异常。

也可以对某个HttpURLConnection实例设置是否重定向。

void setInstanceFollowRedirects(boolean followRedirects)

boolean getInstanceFollowRedirects()

2.7 代理

HttpURLConnection可以得知请求是否通过了代理服务器。

使用如下方法：

abstract  boolean usingProxy()

2.8 流模式

每个发送给HTTP服务器的请求都有HTTP首部。首部中有一个Content-type字段；即请求体中的字节数。首部位于主体的前面。但是，为了写入首部，需要知道主体的长度，而在写首部的时候可能还不知道主题的长度。一般情况下Java对此两难境地的解决办法是，对于从HttpURLConnection获取的OutputStream，缓存写入到此OutputStream中的所有内容，直到流被关闭。到这时，它就知道了主题中有多少字节，

在请求发送之前，HttpURLConnetion会把所有需要发送的数据放到缓冲区里，不管你是否使用connection.setRequestProperty("Content-Length", contentLength);设置了contentLength，当你并行发送大量的POST请求时，这可能会引起OutOfMemoryExceptions 异常，为了避免这个问题，需要使用如下方法：

void setFixedLengthStreamingMode(int contentLength)

　　此方法用于在预先已知内容长度时启用没有进行内部缓冲的 HTTP 请求正文的流。

例：

httpConnection.setFixedLengthStreamingMode(contentLength);

但是如果不能事先知道内容的长度，可以使用HttpURLConnection.setChunkedStreamingMode()方法设置为块状流模式。在块状流模式的情况下，放在块里的内容将会被强行发送出去。下边的例子将会把发送的内容按照每块1KB的大小发送出去。

void setChunkedStreamingMode(int chunklen)

　　此方法用于在预先不知道内容长度时启用没有进行内部缓冲的 HTTP 请求正文的流。

 

例：

httpConnection.setChunkedStreamingMode(1024);

2.9 缓存

默认情况下，Java 1.5不返回任何数据。但通过派生java.net.ResponseCache类的子类，并安装为系统默认值，就可以创建自己的缓存。无论系统合适尝试通过协议处理器加载新的URL，它将首先在缓存中查找，若缓存找到了所需的内容，就不需要连接远程服务器了。若缓存数据不存在，则下载相应数据，并将其放入缓存中。

为了防止无良网站的爬虫抓取文章，特此标识，转载请注明文章出处。LaplaceDemon/SJQ。

http://www.cnblogs.com/shijiaqi1066/p/3753224.html