• .net HTMLParser详细使用说明 强大的Filter类 解析HTML文档如此简单


    背景:

    HTMLParser原本是一个在sourceforge上的一个Java开源项目,使用这个Java类库可以用来线性地或嵌套地解析HTML文本。他的 功能强大和开源等特性吸引了大量Web信息提取的工作者。然而,许多.net开发者朋友一直在寻找一种能在.net中使用的HTMLParser类库,笔 者将介绍Winista.HTMLParser类库,对比于其他原本数量就非常少的.net版HTMLParser类库,Winista的版本的类库结构 可以说更接近于原始Java版本。
    该类库目前分为Utltimate、Pro、Lite和Community四个版本,前三个版本都是收费的。只有Community版本可以免费下载并查看所有的源码。

    (一)Filter类
    Filter一看就知道,肯定是对结果进行过滤,取得需要的内容。HTMLParser在org.htmlparser.filters包之内一共界说了16个差别的Filter,也可以分为几类。
    判定类Filter:
    TagNameFilter
    HasAttributeFilter
    HasChildFilter
    HasParentFilter
    HasSiblingFilter
    IsEqualFilter
    逻辑运算Filter:
    AndFilter
    NotFilter
    OrFilter
    XorFilter
    其他Filter:
    NodeClassFilter
    StringFilter
    LinkStringFilter
    LinkRegexFilter
    RegexFilter
    CssSelectorNodeFilter

    所有的Filter类都实现了org.htmlparser.NodeFilter接口。这个接口只有一个主要函数:
    boolean accept (Node node);
    各个子类分别实现这个函数,用于判定输入的Node是否相符这个Filter的过滤条件,假如相符,返回true,不然返回false。

    (二)判定类Filter
    2.1 TagNameFilter
    TabNameFilter是最轻易理解的一个Filter,凭据Tag的名字进行过滤。

    下面是用于测试的HTML文件:
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
    <head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>新灵感网站自动更新系统-www.xinlg.com</title>< /head>
    <html xmlns="http://www.w3.org/1999/xhtml">
    <body >
    <div id="top_main">
    <div id="logoindex">
    <!--这是注释-->
    新灵感网站自动更新系统-www.xinlg.com
    <a href="http://www.xinlg.com">新灵感网站自动更新系统-www.xinlg.com</a>
    </div>
    新灵感网站自动更新系统-www.xinlg.com
    </div>
    </body>
    </html>
    测试源代码:(这里只列出了Main函数,全部源代码请参考 HTMLParser使用入门(2)- Node内容,自己添加import局部)
    public static void main(String[] args) {

    try{
    Parser parser = new Parser( (HttpURLConnection) (new URL("http://127.0.0.1:8080/HTMLParserTester.html")).openConnection() );

    // 这里是控制测试的局部,后面的例子修改的就是这个地方。
    NodeFilter filter = new TagNameFilter ("DIV");
    NodeList nodes = parser.extractAllNodesThatMatch(filter);

    if(nodes!=null) {
    for (int i = 0; i < nodes.size(); i++) {
    Node textnode = (Node) nodes.elementAt(i);

    message("getText:"+textnode.getText());
    message("=================================================");
    }
    }
    }
    catch( Exception e ) {
    e.printStackTrace();
    }
    }
    输出结果:
    getText:div id="top_main"
    =================================================
    getText:div id="logoindex"
    =================================================
    可以看出文件中两个Div节点都被取出了。下面可以针对这两个DIV节点进行操纵.

    2.2 HasChildFilter
    下面让我们看看HasChildFilter。方才看到这个Filter的时候,我想虽然地认为这个Filter返回的是有Child的Tag。直接初始化了一个
    NodeFilter filter = new HasChildFilter();
    结果挪用NodeList nodes = parser.extractAllNodesThatMatch(filter);的时候HasChildFilter内部直接产生 NullPointerException。读了一下HasChildFilter的源代码,才发觉,实际HasChildFilter是返回有相符条件的子节点的节点,需要另外一个Filter作为过滤子节点的参数。缺省的结构函数虽然可以初始化,但是由于子节点的Filter是null,所以使用的时候产生了Exception。从这点来看,HTMLParser的源代码还有很多可以优化的的地方。呵呵。

    修改源代码:
    NodeFilter innerFilter = new TagNameFilter ("DIV");
    NodeFilter filter = new HasChildFilter(innerFilter);
    NodeList nodes = parser.extractAllNodesThatMatch(filter);
    输出结果:
    getText:body
    =================================================
    getText:div id="top_main"
    =================================================
    可以看到,输出的是两个有DIV子Tag的Tag节点。(body有子节点DIV "top_main","top_main"有子节点"logoindex"。

    注重HasChildFilter还有一个结构函数:
    public HasChildFilter (NodeFilter filter, boolean recursive)
    假如recursive是false,则只对第一级子节点进行过滤。好比前面的例子,body和top_main都是在第一级的子节点里就有DIV节点,所以匹配上了。假如我们用下面的要领挪用:
    NodeFilter filter = new HasChildFilter( innerFilter, true );
    输出结果:
    getText:html xmlns="http://www.w3.org/1999/xhtml"
    =================================================
    getText:body
    =================================================
    getText:div id="top_main"
    =================================================
    可以看到输出结果中多了一个html xmlns="http://www.w3.org/1999/xhtml",这个是整个HTML页面的节点(根节点),虽然这个节点下直接没有DIV节点,但是它的子节点body下面有DIV节点,所以它也被匹配上了。

    2.3 HasAttributeFilter
    HasAttributeFilter有3个结构函数:
    public HasAttributeFilter ();
    public HasAttributeFilter (String attribute);
    public HasAttributeFilter (String attribute, String value);
    这个Filter可以匹配出包括制命名字的属性,或者制定属性为指定值的节点。还是用例子说明比较轻易。

    挪用要领1:
    NodeFilter filter = new HasAttributeFilter();
    NodeList nodes = parser.extractAllNodesThatMatch(filter);
    输出结果:

    什么也没有输出。

    挪用要领2:
    NodeFilter filter = new HasAttributeFilter( "id" );
    NodeList nodes = parser.extractAllNodesThatMatch(filter);
    输出结果:
    getText:div id="top_main"
    =================================================
    getText:div id="logoindex"
    =================================================

    挪用要领3:
    NodeFilter filter = new HasAttributeFilter( "id", "logoindex" );
    NodeList nodes = parser.extractAllNodesThatMatch(filter);
    输出结果:
    getText:div id="logoindex"
    =================================================

    很简单吧。呵呵

    2.4 其他判定列Filter
    HasParentFilter和HasSiblingFilter的效用与HasChildFilter类似,大众自己试一下就应该了解了。

    IsEqualFilter的结构函数参数是一个Node:
    public IsEqualFilter (Node node) {
    mNode = node;
    }
    accept函数也很简单:
    public boolean accept (Node node) {
    return (mNode == node);
    }
    不需要过多说明了。


    (三)逻辑运算Filter
    前面介绍的都是简单的Filter,只能针对某种简单类型的条件进行过滤。HTMLParser支持对付简单类型的Filter进行组合,从而实现纷乱的条件。原理和一般编程语言的逻辑运算是一样的。
    3.1 AndFilter
    AndFilter可以把两种Filter进行组合,只有同时满足条件的Node才会被过滤。
    测试源代码:
    NodeFilter filterID = new HasAttributeFilter( "id" );
    NodeFilter filterChild = new HasChildFilter(filterA);
    NodeFilter filter = new AndFilter(filterID, filterChild);
    输出结果:
    getText:div id="logoindex"
    =================================================

    3.2 OrFilter
    把前面的AndFilter换成OrFilter
    测试源代码:
    NodeFilter filterID = new HasAttributeFilter( "id" );
    NodeFilter filterChild = new HasChildFilter(filterA);
    NodeFilter filter = new OrFilter(filterID, filterChild);
    输出结果:
    getText:div id="top_main"
    =================================================
    getText:div id="logoindex"
    =================================================

    3.3 NotFilter
    把前面的AndFilter换成NotFilter
    测试源代码:
    NodeFilter filterID = new HasAttributeFilter( "id" );
    NodeFilter filterChild = new HasChildFilter(filterA);
    NodeFilter filter = new NotFilter(new OrFilter(filterID, filterChild));
    输出结果:
    getText:!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"
    =================================================
    getText:

    =================================================
    getText:head
    =================================================
    getText:meta http-equiv="Content-Type" content="text/html; charset=gb2312"
    =================================================
    getText:title
    =================================================
    getText:新灵感网站自动更新系统-www.xinlg.com
    =================================================
    getText:/title
    =================================================
    getText:/head
    =================================================
    getText:

    =================================================
    getText:html xmlns="http://www.w3.org/1999/xhtml"
    =================================================
    getText:

    =================================================
    getText:body
    =================================================
    getText:

    =================================================
    getText:

    =================================================
    getText:

    =================================================
    getText:这是注释
    =================================================
    getText:
    新灵感网站自动更新系统-www.xinlg.com

    =================================================
    getText:a href="http://www.xinlg.com"
    =================================================
    getText:新灵感网站自动更新系统-www.xinlg.com
    =================================================
    getText:/a
    =================================================
    getText:

    =================================================
    getText:/div
    =================================================
    getText:
    新灵感网站自动更新系统-www.xinlg.com

    =================================================
    getText:/div
    =================================================
    getText:

    =================================================
    getText:/body
    =================================================
    getText:

    =================================================
    getText:/html
    =================================================
    getText:

    =================================================

    除了前面3.2中输出的几个Tag,其余的Tag都在这里了。


    3.4 XorFilter
    把前面的AndFilter换成NotFilter
    测试源代码:
    NodeFilter filterID = new HasAttributeFilter( "id" );
    NodeFilter filterChild = new HasChildFilter(filterA);
    NodeFilter filter = new XorFilter(filterID, filterChild);
    输出结果:
    getText:div id="top_main"
    =================================================

    (四)其他Filter:
    4.1 NodeClassFilter
    这个Filter用于判定节点类型是否是某个特定的Node类型。在HTMLParser使用入门(2)- Node内容中我们已经了解了Node的差别类型,这个Filter就可以针对类型进行过滤。
    测试源代码:
    NodeFilter filter = new NodeClassFilter(RemarkNode.class);
    NodeList nodes = parser.extractAllNodesThatMatch(filter);
    输出结果:
    getText:这是注释
    =================================================
    可以看到只有RemarkNode(注释)被输出了。

    4.2 StringFilter
    这个Filter用于过滤显示字符串中包括制定内容的Tag。注重是可显示的字符串,不可显示的字符串中的内容(例如注释,链接等等)不会被显示。
    修改一下例子源代码:
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
    <head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>新灵感网站自动更新系统-title-www.xinlg.com</title>& lt;/head>
    <html xmlns="http://www.w3.org/1999/xhtml">
    <body >
    <div id="top_main">
    <div id="logoindex">
    <!--这是注释 新灵感网站自动更新系统-www.xinlg.com -->
    新灵感网站自动更新系统-字符串1-www.xinlg.com
    <a href="http://www.xinlg.com">新灵感网站自动更新系统-链接文本-www.xinlg.com</a>
    </div>
    新灵感网站自动更新系统-字符串2-www.xinlg.com
    </div>
    </body>
    </html>

    测试源代码:
    NodeFilter filter = new StringFilter("www.xinlg.com");
    NodeList nodes = parser.extractAllNodesThatMatch(filter);
    输出结果:
    getText:新灵感网站自动更新系统-title-www.xinlg.com

    =================================================
    getText:
    新灵感网站自动更新系统-字符串1-www.xinlg.com

    =================================================
    getText:新灵感网站自动更新系统-链接文本-www.xinlg.com

    =================================================
    getText:
    新灵感网站自动更新系统-字符串2-www.xinlg.com
    =================================================
    可以看到包括title,两个内容字符串和链接的文本字符串的Tag都被输出了,但是注释和链接Tag自己没有输出。

    4.3 LinkStringFilter
    这个Filter用于判定链接中是否包括某个特定的字符串,可以用来过滤出指向某个特定网站的链接。
    测试源代码:
    NodeFilter filter = new LinkStringFilter("www.xinlg.com");
    NodeList nodes = parser.extractAllNodesThatMatch(filter);
    输出结果:
    getText:a href="http://www.xinlg.com"
    =================================================

    4.4 其他几个Filter
    其他几个Filter也是凭据字符串对差别的域进行判定,与前面这些的区别主要就是支持正则表达式。这个不在本文的讨论范畴以内,大众可以自己实验一下。

     

  • 相关阅读:
    SQL(二)语法
    SQL(一)简介
    linux学习(六)文件基本属性
    Linux学习(五)远程登录
    Linux学习(四) 忘记密码解决方法
    怎样理解阻塞非阻塞与同步异步的区别?
    Python的lambda匿名函数
    Twisted源码分析系列01-reactor
    Python装饰器学习(九步入门)
    Python关键字yield的解释
  • 原文地址:https://www.cnblogs.com/Alex80/p/4775944.html
Copyright © 2020-2023  润新知