扒网页第一弹

　　昨天下午抄的代码，用来完成扒网页这个步骤。

　　仅能实现获取源代码的内容，还没有进行处理，今天将会完成处理的步骤。

　　本次主要利用URLConnection 在Eclipse下完成 。

　　有一个错误阻碍了我将近两个小时，即 URLConnection url_con =  url.openConnection(); 总是在报类型不匹配的错误。多次百度之后也没找到答案。最后是在与原博主的源代码的比对中发现了错误，是有一个包导错了。。。。。。。这个包是java.net.URLConnection;

　　以下是我的代码：

　　

package tixiJG;

import java.io.BufferedReader;
import java.io.FileOutputStream;
//import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;

import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;

/***
 * 2017-10-13
- * @author Administrator-
 *
 */

public class test1 {

    public static void main(String[] args) {
        
        
        String filePath = "E:/eclipseWorkspace/tixiJG/TTest/001.txt";
        
        String url_str = "http://www.imau.edu.cn";
        
        URL url = null;
        try{
            //将String转化为url
            url = new URL(url_str);
            
        }catch(MalformedURLException e){
            e.printStackTrace();
        }
        
    /*    URL url = new URL("https://www.hao123.com");*/
        
        String charset = "utf-8";
        
        int sec_cont = 1000;
        try {
            //初始化一个链接到URL的链接
            URLConnection url_con =  url.openConnection();
            
            //url_con.connect();
            
            url_con.setDoOutput(true);
            
            url_con.setReadTimeout(10 * sec_cont);
            
            url_con.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)");
            
            InputStream htm_in = url_con.getInputStream();
            
            String htm_str = InputStream2String(htm_in,charset);
            
            saveHtml(filePath,htm_str);
            
        }catch(IOException e) {
            e.printStackTrace();
        }

    }
    
    
    public static void saveHtml( String filepath, String str ) {
        
        try{
            
            OutputStreamWriter outs = new OutputStreamWriter(new FileOutputStream(filepath,true), "utf-8");
            
            outs.write(str);
            
            System.out.print(str);
            
            outs.close();
        }catch(IOException e) {
            System.out.println("Error at save html...");
            e.printStackTrace();
        }
    }
    
    
    public static String InputStream2String(InputStream in_st, String charset) throws IOException{
        
        BufferedReader buff = new BufferedReader(new InputStreamReader(in_st, charset));
        StringBuffer res = new StringBuffer();
        
        String line = "";
        
        while((line = buff.readLine()) != null) {
            
            res.append(line);
            
        }
        
        return res.toString();
    }
    
    

}