使用SGMLParser抓取html里标签<td>内的数据

之前做好抓过好几次网页数据，一般都用了以下方法。

1.最简单的find + split

2.正则表达式,我仍然只会用点findall什么的。

后来咨询过大牛。大牛回了个

        r = re.compile(r'(?s)<span class="(count|grade)">(?P<data>[^<]+)</span>')
        for m in r.finditer(content):
            v = m.group("data")
            print v.strip().replace(',', '')        

用于抓取如下数据：

<ul class="use-state">
                    <li>
                <span class="label-like">有效评价：</span>
                <span class="count">
                                            2,112 次
                                    </span>
            </li>
                <li><span class="label-like">付费使用：</span><span class="count">1.5万人</span></li>
                <li><span class="label-like">免费使用：</span><span class="count">132人</span></li>
                <li><span class="label-like">浏览数：</span><span class="count">9.0万次/30天</span></li>
    </ul>

大牛不愧是大牛，还说了可以了解了解 BeautifulSoup什么的

3.后来碰到数据放到<td>data</td>里的

<p>60  元/月</p>                        
                            </td>
                            <td> 2179 </td>
                            <td>18871</td>

最后用SGMLParser 实现了

from sgmllib import SGMLParser

class MySgmlParser(SGMLParser):

    def __init__(self):
        SGMLParser.__init__(self)
        self.label = False
        self.num_list = []

    def start_td(self, attrs):
        self.label = True

    def end_td(self):
        self.label = False

    def handle_data(self, data):
        if self.label:
            data = data.strip()
            if data.isdigit():
                self.num_list.append(int(data))

这期间有两个小插曲

一是第一次用SGMLParser的时候 失败了，就是抓到的data没有包含我要的数据，不知道为什么。隔了几周后，就行了。

二是中间用过HTMLParser，但是抛异常。

参考：http://hi.baidu.com/jfojfo/item/734283397d682e21b3c0c54d