Java抓取网页数据

http://ayang1588.github.io/blog/2013/04/08/catchdata/

最近处于离职状态，正赶清闲，开始着手自己的毕业设计，课题定的是JavaWeb购物平台，打算用SpringMVC+MyBatis实现，打算添加缓存服务器，用什么还没有想好，依赖用Maven管理，数据库用MySql，IDE就用Inetllij IDEA。

---

　　购物平台业务都差不多，平时经常使用，业务大家都比较熟悉，我打算模拟当当网，所以昨天直接把数据库设计好，并建了起来，今天打算准备数据，可是product表和book表的字段稍微有点多，如果上网一个一个的摘录，肯定是不行事儿的，也不是coder做的事儿，要准备多的数据，又是重复的事儿，何不让计算机帮你干。所以打算用Java程序抓取现当当网的数据，提取自己想要的，并直接存入数据库。经过一下午的努力基本实现了功能，由于分类并不打算和当当网的分类一样那么多，所以实现了符合自己的半自动化数据抓取功能。可以实现输入当当网的类别（category_path），和起始结束页，自动填充数据库中对应对象。
　　最开始用的正则匹配抓取内容，后来发现太麻烦了，正则左一斜杠右一斜杠的，又转义又拼接，一会就晕了，所以放弃了，改为像操作Dom树一样进行抓取，用到的开源包Jsoup（文档），也支持像CSS过滤器一样过滤节点，很方便。但是这样并不支持获取js及ajax访问返回数据后的页面，但用htmlunit可以解决这个问题，htmlunit：传说中Java程序员的浏览器，具体使用不太难，就是模拟浏览器，设置好相关属性就可以开始访问了。这里有一篇淘宝关于定向抓取的介绍，大家可以看看（定向抓取漫谈）。
　　以下是我访问当当数据的类（其余的就不贴了，数据库存储用的最原始的JDBC，没什么好说的，这个只是随便写个大概，够自己用了，其实完全可以拓展成通用的工具类，我就不封装了，本来就挺方便的，直接用也就够了），如果哪里有问题请记得及时给我留言：

public class Utils {
  
  // UrlVo类存放了3个url，列表图片url，详细信息中的图片url，和商品详细信息url
  // 再通过这三个url可以把所有数据读取出来并封装成对象，然后存入数据库。
  // 同时将所用到的图片下载到本地。

    /**
     * 从一个页面获取该页面商品详细信息的url链接和小图片的链接地址
     * @param url
     * @return
     * @throws
     */
    public static void getBookUrlFromPage(String url, List list) throws Exception{
        // timeout 0:不断请求  默认:2000毫秒超时
        Document document = Jsoup.connect(url).timeout(0).get();
        Elements node = document.select(".resultlist");
        Elements elements = node.get(0).child(0).children();
        for (Element item : elements) {
            UrlVO urlVO = new UrlVO();
            urlVO.setProductDetailUrl(item.child(1).child(0).child(0).child(0).attr("href"));
            urlVO.setSmallImageUrl(item.child(0).child(0).child(0).attr("src"));
            list.add(urlVO);
        }
    }

    /**
     * 根据url和页数获取商品详细url
     * @param url
     * @param startPage
     * @param endPage
     * @param list
     */
    public static void getBookUrlByUrlAndPageNum(String url, Integer startPage, Integer endPage, List list) {
        try {
            for(int i = startPage; i <= endPage; i++) {
                String urlStr = url + i;
                Utils.getBookUrlFromPage(urlStr, list);
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * 根据商品详细页面获取Product对象
     * @param url
     * @return
     */
    public static Product getProductFromUrl(String url) {
      //这里有些数据利用jsoup获取不到
        //我用的是htmlunit，设置setJavaScriptEnabled，setAjaxController等参数
        //具体代码就不贴了，大家可以自己试试
        //如有需要，求留言
        return null;
    }

    /**
     * 根据图片url和文件名保存图片
     * @param urlStr
     * @param filename
     */
    public static void saveImageByUrlAndName(String urlStr, String filename) throws Exception{
        // 构造URL
        URL url = new URL(urlStr);
        // 打开连接
        URLConnection con = url.openConnection();
        // 输入流
        InputStream is = con.getInputStream();
        // 1K的数据缓冲
        byte[] bs = new byte[1024];
        // 读取到的数据长度
        int len;
        // 输出的文件流
        OutputStream os = new FileOutputStream(filename);
        // 开始读取
        while ((len = is.read(bs)) != -1) {
            os.write(bs, 0, len);
        }
        os.flush();
        // 关闭连接
        os.close();
        is.close();
    }

    // 测试及调用
    public static void main(String[] args) {
        List<UrlVO> list = new ArrayList<UrlVO>();
        try {
            getBookUrlByUrlAndPageNum("http://category.dangdang.com/all/?category_path=01.03.38.00.00.00&page_index=", 1, 2, list);
//            getBookUrlFromPage("http://category.dangdang.com/all/?category_path=01.03.38.00.00.00&page_index=2", list);
        } catch (Exception e) {
            e.printStackTrace();
        }
        System.out.println(list.size());

//        保存图片
//        String urlStr = "http://img32.ddimg.cn/28/35/23207212-1_l.jpg";
//        try {
//            saveImageByUrlAndName(urlStr, "1.jpg");
//        } catch (Exception e) {
//            e.printStackTrace();
//        }
    }
}