Android 学习心得(7)——读取网页源码+网页代码提取

最近这几天学习Android 的抓取网页新闻 

拜读了这位大牛的文章：http://blog.csdn.net/lmj623565791/article/details/23532797

参考这位大牛的源码试着自己书写了一下结果惨不忍睹，由于是学习我也就忍了

虽然失败了，但是东西还是学习到了（失败原因是因为csdn对网页做了处理 我只能抓取到废页面）

首先   读取网页源码

public String doGet(String arg0,final int newsType) throws Exception{
        //可变比特缓存
        final ByteArrayOutputStream out = new ByteArrayOutputStream();
        //地址URL
        URL url=null;
        //比特流
        try {
            url= new URL(arg0);
            //打开网络链接
            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
            //使用get方式读取数据
            conn.setRequestMethod("GET");
            //设置超时5秒
            conn.setConnectTimeout(5*1000);
            //设置允许读写POST请求必须输入这两行
            conn.setDoInput(true);
            conn.setDoOutput(true);
            int flag= conn.getResponseCode();
            if(flag==HttpURLConnection.HTTP_OK){//如果返回200 则说明请求成功
                //取得输入流
                InputStream in = conn.getInputStream();
                byte[] data = readStream(in);
                //新建一个线程用于存储二进制数据进入文件
//                new Thread(){
//                    public void run(){
//                        ByteArrayOutputStreamWrite(in,newsType);
//                    }
//                }.start();
                String html = new String(data);
                return html;
            }else{
                 throw new Exception("访问网络失败！");
            }
        } catch (MalformedURLException e) {
            throw new Exception("解析网络地址失败！");
        } catch (IOException e) {
            throw new Exception("读取数据失败！");
        }
    }


    
    private byte[] readStream(InputStream in) throws IOException {
        ByteArrayOutputStream out  =new ByteArrayOutputStream(); 
        //把流存入缓存中
        int len = -1;
        byte[] bs = new byte[1024];
        while((len=in.read(bs))!=-1){
            out.write(bs, 0, len);
        }
        in.close();
        out.close();
        return out.toByteArray();
    }

接着  解析源代码从中抽取有用信息

/**
     * 网页解析
     * @param data 网页源代码
     * @return 数据数组
     * @throws IOException 
     */
    public  List<Data> dataFilter(String data,int newsType) throws IOException {
        List<Data> list = new ArrayList<Data>();
        Document doc=  Jsoup.parse(data);
        Elements units = doc.getElementsByClass("unit");
        for(int i=0;i<units.size();i++){
            Data thisdata=new Data();
            Element unit = units.get(i);
            //取得h1标签的内容
            Element h1_ele=unit.getElementsByTag("h1").get(0);
            //取得h1中<a>标签的内容
            Element h1_a_ele = h1_ele.child(0);
            //转换成文本
            String title = h1_a_ele.text();
            //取得<a>的harf属性作为链接
            String url = h1_a_ele.attr("href");
            
            Element h4_ele=unit.getElementsByTag("h4").get(0);
            Element h4_time_ele = h4_ele.child(0);
            String date=h4_time_ele.text();
            Element dl_ele = unit.getElementsByTag("dl").get(0);
            Element dt_ele = dl_ele.child(0);
            //获取图片地址和图片链接
            try{
            String imgUrl = dt_ele.child(1).attr("src");
            String imgLinkUrl = dt_ele.child(0).attr("href");
            thisdata.setImgLinkUrl(imgLinkUrl);
            thisdata.setImgUrl(imgUrl);
            }catch(Exception e){
                
            }
            Element dd_ele = dl_ele.child(1);
            String content = dd_ele.text();
            //放入data对象
            thisdata.setContent(content);
            thisdata.setTitle(title);
            thisdata.setUrl(url);
            thisdata.setDate(date);
            thisdata.setType(newsType);
            
            list.add(thisdata);
        }
        return list;
    }