图书信息库完整解决方案（四）解析图书详情

详情页面涉及到图书的标题、出版社、作者、摘要等等具体信息，所以是整个网页解析中的难点，也是核心数据部分。

首先找到涉及到的一级节点：

        //一级节点
        DomElement productMainElement = null;
        DomElement productContentElement = null;
        
        BookSpider bookSpider = new BookSpider();//记录所用代理

        try {        
            HtmlPage page = webClientGetPage(url,true, false,bookSpider);
            if(page == null || !page.isHtmlPage() || !page.hasChildNodes()){
                System.out.println("bookFromDangdangUrl failed.  url = " + url);
                return null;
            }
    
            //stringToFile(page.asXml(),"E:\book.html");
            
            List<DomElement> ll =  page.getElementsByTagName("div");

            for(int i=0;i<ll.size();i++) {
                DomElement e = ll.get(i);
                
                String cls = e.getAttribute("class");

                if(cls.equalsIgnoreCase("product_main clearfix")) {
                    System.out.println("find productMainElement. cls = " + cls);
                    
                    productMainElement = e;
                }
                
                if(cls.equalsIgnoreCase("product_content clearfix")) {
                    System.out.println("find productContentElement. cls = " + cls);
                    
                    productContentElement = e;
                }
                
                if(productMainElement != null && productContentElement != null)
                    break;
            }

然后找到需要的二级节点：

            //二级节点
            DomElement picInfoElement = null; //图片节点
            DomElement showInfoElement = null;//详情节点
            if(productMainElement != null) {
                List<HtmlElement> lsElement =  productMainElement.getElementsByTagName("div");
                
                for(int i=0;i<lsElement.size();i++) {
                    DomElement e = lsElement.get(i);
                    
                    String cls = e.getAttribute("class");
                    if(cls != null){
                        if(cls.equalsIgnoreCase("pic_info")) {
                            System.out.println("find picInfoElement. class = " + cls);
                            
                            //图片节点
                            picInfoElement = e;
                        }
                        
                        if(cls.equalsIgnoreCase("show_info")) {
                            System.out.println("find showInfoElement. class = " + cls);
                            
                            //在整个html中找到图书的一级节点
                            showInfoElement = e;
                        }
                    }

                    if(picInfoElement != null && showInfoElement != null)
                        break;
                }
            }

接下来就可以进行具体解析了，以图片节点为例：

            //图片
            if(picInfoElement != null) {
                DomElement imgElement = picInfoElement.getFirstElementChild().getFirstElementChild().getFirstElementChild();
                image = imgElement.getAttribute("src").trim();
            }

基础信息的节点查找方式如下：

            //基础信息相关节点
            DomElement nameInfoElement = null;
            DomElement messboxInfoElement = null;
            DomElement priceInfoElement = null;
            if(showInfoElement != null) {
                DomElement saleBoxElement = showInfoElement.getFirstElementChild().getFirstElementChild();
                List<HtmlElement> lsElement =  saleBoxElement.getElementsByTagName("div");
                
                for(int i=0;i<lsElement.size();i++) {
                    HtmlElement e = lsElement.get(i);
                    
                    String cls = e.getAttribute("class");
                    if(cls == null)
                        continue;

                    if(cls.equalsIgnoreCase("name_info")) {
                        System.out.println("find nameInfoElement. class = " + cls);
                        
                        nameInfoElement = e;
                    }
                    
                    if(cls.equalsIgnoreCase("messbox_info")) {
                        System.out.println("find messboxInfoElement. class = " + cls);
                        
                        messboxInfoElement = e;
                    }
                    
                    if(cls.equalsIgnoreCase("price_info clearfix")) {
                        System.out.println("find priceInfoElement. class = " + cls);
                        
                        priceInfoElement = e;
                    }
                    
                    if(nameInfoElement != null && messboxInfoElement != null && priceInfoElement != null)
                        break;
                }
            }

这样基础信息的各个节点基本就找到了，接下来模仿图片节点的解析方式就可以进行处理了。

            //标题
            if(nameInfoElement != null) {
                
                if(nameInfoElement.getElementsByTagName("h1").isEmpty()){
                    title = nameInfoElement.getTextContent().trim();
                }else{
                    title  = nameInfoElement.getElementsByTagName("h1").get(0).getTextContent().trim();
                }
                
                title = strSeparatorContent(title);
                                
                if(nameInfoElement.getElementsByTagName("h2").isEmpty()){
                    ;
                }else{
                    subtitle  = nameInfoElement.getElementsByTagName("h2").get(0).getTextContent().trim();
                }
                
                subtitle = strSeparatorContent(subtitle);
            }

其他节点解析不再赘述，参考以上方式即可解析出所有数据。