HTMLParser学习笔记（一）

　　最近一直在学习搜索引擎的相关知识，在对于原始的HTML网页的处理是其中非常重要的一个环节，也就是所说的“去噪”，比如去掉相关的标签和不需要的JS代码等等，HTMLParser（http://htmlparser.sourceforge.net/）是一个对现有的HTML进行分析的快速实时的解析工具。它是一个开源的项目，通过它可以准确高效地对HTML文本中的格式、数据进行处理。利用它可以很容易地对网页的内容进行分析、过滤和抓取。它的主要功能分为以下几个部分：

      文本信息抽取：提取网页中的文字。

      链接提取：提取网页中的链接信息和锚文本。

      资源提取：网页中图片、声音的处理。

      链接检查：用于检查HTML中的链接是否有效。

      内容检查:可以用来过滤网页上一些令人不愉快的字词。

     HTMLParser最核心的模块是Parser类，这个类实际完成了对于HTML页面的分析工作，构造函数如下：

     public Parser ();     API链接地址：http://htmlparser.sourceforge.net/javadoc/index.html
     public Parser (Lexer lexer, ParserFeedback fb);
     public Parser (URLConnection connection, ParserFeedback fb) throws ParserException;
     public Parser (String resource, ParserFeedback feedback) throws ParserException;
     public Parser (String resource) throws ParserException;
     public Parser (Lexer lexer);
     public Parser (URLConnection connection) throws ParserException;

     我们通常使用的是通过一个URLConnection或者一个保存有网页内容的字符串来初始化Parser，或者使用静态函数来生成一个Parser对象。

     下面我们给出两个简单的初始化的例子。

 1.下面是通过传递保存有网页内容的字符串来初始化Parser和通过Parser静态函数来生成Parser对象

import java.io.BufferedReader;
import java.io.ByteArrayInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.UnsupportedEncodingException;
import java.util.HashMap;
import java.util.Map;
import java.util.StringTokenizer;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import javax.swing.plaf.metal.MetalFileChooserUI;

import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.nodes.TextNode;
import org.htmlparser.tags.JspTag;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.tags.MetaTag;
import org.htmlparser.tags.TableTag;
import org.htmlparser.tags.TitleTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;


public class t {

    /**
     * @param args
     * @throws IOException 
     */
    public final static String testFilePath="C:"+File.separator+"glose - 博客园.htm";
    public final static String urlName="http://www.cnblogs.com/dlutxm/";
    public static String readFile(String fileName) throws IOException{           //读本地文件内容
        FileInputStream fin=new FileInputStream(fileName);
        InputStreamReader inReader=new InputStreamReader(fin,"utf-8");
        BufferedReader bReader=new BufferedReader(inReader);
        StringBuffer content=new StringBuffer();
        String line=null;
        while((line=bReader.readLine())!=null){
            content.append(line);
            content.append("\n");
        }
        bReader.close();
        inReader.close();
        fin.close();
        //System.out.println(content);
        return content.toString();
    }
    public static void parser(String content) throws ParserException{
        Parser parser=Parser.createParser(content, "utf-8");
　　　　 //Parser parser=new Parser(content);
        NodeList nodeList=null;
        
        //  注册特定标签的类  或者说某个特定的节点
        NodeFilter titleFilter=new NodeClassFilter(TitleTag.class);
        NodeFilter metaFilter=new NodeClassFilter(MetaTag.class);
        NodeFilter textFilter=new NodeClassFilter(TextNode.class);
        NodeFilter tableFilter=new NodeClassFilter(TableTag.class);
        NodeFilter linkFilter=new NodeClassFilter(LinkTag.class);
        NodeFilter jspFilter=new NodeClassFilter(JspTag.class);
        
        
        //OrFilter类可以得到其参数中设置的任何节点类型，节点之间是或的关系  具体实现方法为setPredicates()
        OrFilter lastFilter=new OrFilter();
        lastFilter.setPredicates(new NodeFilter[]{titleFilter,metaFilter,textFilter,tableFilter,linkFilter,jspFilter});
        
        nodeList=parser.parse(lastFilter);
        
        Node [] nodes=nodeList.toNodeArray();
        String line="";
        for(int i=0;i<nodes.length;i++){
            Node node=nodes[i];
            if(node instanceof TitleTag){   //得到网页的标题
                TitleTag titlenode=(TitleTag)node;
                line=titlenode.getTitle();
                //System.out.println(line);
            }
            else if(node instanceof MetaTag) { //得到meta中的content内容，包括网页的关键字、编码、描述信息等。
                MetaTag metaTag=(MetaTag)node;
                line=metaTag.getAttribute("content");  
                //System.out.println(line);
            }
            
            else if(node instanceof TextNode){  //得到文本内容
                TextNode textNode=(TextNode)node;
                line=textNode.getText();
                //System.out.println(line);
            }
            else if(node instanceof TableTag){   
                TableTag tableTag=(TableTag)node;
                line=tableTag.toPlainTextString();   //得到表格的内容
                //System.out.println(line);
                String width=tableTag.getAttribute("width");
                String height=tableTag.getAttribute("height");
                //System.out.println(width);
            }
            else if(node instanceof LinkTag){    //得到网页中的链接和链接文本
                LinkTag linknode=(LinkTag)node;
                String linkText=linknode.getLinkText();
                String link=linknode.getLink();
                
                System.out.println(linkText);
                System.out.println(link);
            }
            else if(node instanceof JspTag){   //解析网页中的Javas，ASP等动态的代码
                JspTag jspTag=(JspTag)node;
                line=jspTag.toString();
                System.out.println(line);
            }
            
        }
            
    }
    public static void main(String[] args) throws IOException, ParserException {
        // TODO Auto-generated method stub
        String content=readFile(testFilePath);
        parser(content);
    }

}

　　

2.下面是通过一个URLConnection来初始化Parser

import java.io.IOException;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.tags.TitleTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;


public class urlTest {

	/**
	 * @param args
	 * @throws IOException 
	 * @throws MalformedURLException 
	 * @throws ParserException 
	 */
	public static void parser(String url) throws MalformedURLException, IOException, ParserException{
		HttpURLConnection urlConnection=(HttpURLConnection) (new URL(url)).openConnection();
		Parser parser=new Parser(urlConnection);
		NodeFilter titleFilter=new NodeClassFilter(TitleTag.class);
		NodeList nodeList=null;
		OrFilter lasFilter=new OrFilter();
		lasFilter.setPredicates(new NodeFilter[]{titleFilter});
		nodeList=parser.parse(lasFilter);
		Node []nodes=nodeList.toNodeArray();
		for(int i=0;i<nodes.length;i++){
			if(nodes[i] instanceof TitleTag){
				TitleTag titleTag=(TitleTag)nodes[i];
				String title=titleTag.getTitle();
				System.out.println(title);
			}
		}
		
	}
	public static void main(String[] args) throws MalformedURLException, ParserException, IOException {
		// TODO Auto-generated method stub
		String url="http://www.baidu.com";
		parser(url);
	}

}

 3.下面是对相关的Parser对象构造函数进行了很好的封装和测试。常用的构造Parser对象的方法有以下几种：

import java.io.IOException;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.http.ConnectionManager;
import org.htmlparser.lexer.Page;
import org.htmlparser.tags.TitleTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;


public class IteratorNode {

	/**
	 * @param args
	 */
	public static Parser getParserWithUrlStr(String urlStr,String encoding) throws ParserException{
		Parser parser=new Parser();
		parser.setURL(urlStr);
		parser.setEncoding(encoding);
		return parser;
	}
	public static Parser getParserWithUrlConn(String urlStr,String encoding) throws IOException, ParserException{
		URL url=new URL(urlStr);
		HttpURLConnection urlConnection=(HttpURLConnection) url.openConnection();
		Parser parser=new Parser(urlConnection);
		parser.setEncoding(encoding);
		return parser;
	}
	public static Parser getParserWithUrlConn2(String urlStr,String encoding) throws ParserException{
		ConnectionManager manager=Page.getConnectionManager();
		Parser parser=new Parser(manager.openConnection(urlStr));
		parser.setEncoding(encoding);
		return parser;
	}
	public static Parser createParser(String htmlContent,String encoding){   //读取本地文件
		Parser parser=Parser.createParser(htmlContent, encoding);
		return parser;
	}
	public static void main(String[] args) throws ParserException, IOException {
		// TODO Auto-generated method stub
		Parser parser1=getParserWithUrlStr("http://www.baidu.com", "utf-8");
		Parser parser2=getParserWithUrlConn("http://www.baidu.com", "utf-8");
		Parser parser=getParserWithUrlConn2("http://www.baidu.com", "utf-8");
		NodeFilter titleFilter=new NodeClassFilter(TitleTag.class);
		NodeList nodeList=null;
		OrFilter lasFilter=new OrFilter();
		lasFilter.setPredicates(new NodeFilter[]{titleFilter});
		nodeList=parser.parse(lasFilter);
		Node []nodes=nodeList.toNodeArray();
		for(int i=0;i<nodes.length;i++){
			if(nodes[i] instanceof TitleTag){
				TitleTag titleTag=(TitleTag)nodes[i];
				String title=titleTag.getTitle();
				System.out.println(title);
			}
		}
		
	}

}