Python3(十一) 原生爬虫

一.爬虫实例

1.原理：文本分析并提取信息——正则表达式。

2.实例目的：爬取熊猫TV某个分类下面主播的人气排行

                     分析网站结构

操作：F12查看HTML信息，Ctrl+Shift+C鼠标选取后找到对应的HTML。

3.步骤：

前奏：

1、明确目的（分析抓取目的确定抓取页面）

2、找到数据对应网页

3、分析网页的结构，找到数据所在标签的位置

执行：

4、模拟HTTP请求，向服务器发送请求，获取到服务器返回给我们的HTML

5、用正则表达式提取我们要的数据

......

4.代码

二. VSCode中调试代码

断点调试：F5启动，F10单步，F5跳断点，F11进内部

三.HTML结构分析基本原则

寻找到标签、标识符，使之能够定位要抓取的信息。

1、尽量选取具有唯一性的标签

2、尽量选取最接近于数据的标签

四.数据提取层级分析及原则

1.可以把两个数据看成是一组数据并再次寻找标签。

2.尽量选取可以闭合的标签(父级标签)，并包裹其需要的数据

五.正则分析HTML及具体流程

'''
This is a spider，模块注释
'''
 
 
from urllib import request
 
import re
 
 
 
class Spider():
 
    '''
    This is a spider class
    '''
 
    url = 'https://www.panda.tv/cate/lol'
 
    root_pattern = '<div class="video-info">([sS]*?)</div>' #注意单双引号
 
    #[wW] [sS] . 匹配所有字符
 
    #* 匹配0次或者无限多次
 
    #? 非贪婪模式，匹配到第一个遇到的</div>
 
    name_pattern = '</i>([sS]*?)</span>'
 
    number_pattern = '<span class="video-number">([sS]*?)</span>'
 
def __fetch_content(self):
 
    '''
    私有方法，获取网页内容
    '''
 
    r = request.urlopen(Spider.url)
 
    htmls = r.read()
 
    htmls = str(htmls,encoding = 'utf-8')
 
 
    return htmls
 
 
def __analysis(self,htmls):
 
    '''
    正则表达式来提取数据
    '''
 
    root_html = re.findall(Spider.root_pattern,htmls)
 
 
    anchors = []
 
    for html in root_html:
 
        name = re.findall(Spider.name_pattern,html)
 
        number = re.findall(Spider.number_pattern,html)
 
        anchor = {'name':name,'number':number}
 
        anchors.append(anchor)
 
 
    return anchors
 
 
 
def __refine(self,anchors):
 
    l = lambda anchor:{
 
    'name':anchor['name'][0].strip(),
 
    'number':anchor['number'][0] #列表转化为单一的字符串
 
    }
 
 
    return map(l,anchors)
 
 
 
def __sort_seed(self,anchor):
 
    r = re.findall('d*',anchor['number']) #提取数字
 
    number = float(r[0])
 
    if '万' in anchor['number']: #处理'万'
 
        number *= 10000
 
        
 
    return number
 
 
 
def __sort(self,anchors):
 
    '''
    key确定比较对象
    sorted()默认升序排列,reverse = True 降序
    不能用str排序，要用int，并且要处理'万'
    '''
 
    anchors = sorted(anchors,key = self.__sort_seed,reverse = True)
 
    return anchors
 
 
 
def __show(self,anchors):
 
    for rank in range(0,len(anchors)):
 
        print('rank ' + str(rank + 1) +
 
    ':' + ' ' + anchors[rank]['name'] +
 
    '————' + anchors[rank]['number'])
 
 
 
def go(self): #Spider的入口方法
 
    htmls = self.__fetch_content()
 
    anchors = self.__analysis(htmls)
 
    anchors = list(self.__refine(anchors))
 
    anchors = self.__sort(anchors)
 
    self.__show(anchors)
 
 
 
spider = Spider()
 
spider.go()

爬虫框架：

Beautiful Soup

Scrapy