python爬虫实践——爬取“梨视频”

一、爬虫的基本过程:
　1、发送请求（请求库:request,selenium）
　2、获取响应数据（）服务器返回
　3、解析并提取数据（解析库:re,BeautifulSoup,Xpath）
　4、保存数据（储存库）MongoDB

二、爬取“梨视频”中的某一个视频

1 # 爬取梨视频
2 import requests
3 url='https://video.pearvideo.com/mp4/adshort/20190613/cont-1565846-14013215_adpkg-ad_hd.mp4'
4 res = requests.get(url)
5 #将爬取的视频写入文件
6 with open('梨视频.mp4', 'wb') as f:
7     f.write(res.content)

 三、正则表达式的使用

1、re.find.all('正则匹配规则'，‘解析文本’，“正则模式”)
2、re.S:全局模式（对整个文本进行匹配）
3、指的是当前位置
4、*指的是查找所有

四、爬取整个“梨视频”中的视频

import requests
import re
import uuid

#1、发送请求
def get_page(url):
    response=requests.get(url)
    return response

#2、解析数据
def parse_index(text):
    res=re.findall('<a href="video_(.*?)"',text,re.S)

    detail_url_list=[]
    for m_id in res:
        detail_url='https://www.pearvideo.com/video_'+m_id
        detail_url_list.append(detail_url)

    return detail_url_list

#解析详情页获取视频url
def parse_detail(text):
    movie_url=re.findall('srcUrl="(.*?)"',text,re.S)[0]
    return movie_url

#3、保存数据
def save_movie(movie_url):
    response=requests.get(movie_url)
    with open(f'{uuid.uuid4()}.mp4','wb')as f:
        f.write(response.content)
        f.flush()


#主函数:(输入'main',然后按”回车“)
if __name__ == '__main__':
    #1、对主页发送请求
    index_res=get_page(url='https://www.pearvideo.com/')
    #2、对主页进行解析、获取详情页id
    detail_url_list=parse_index(index_res.text)

    #3、对每个详情页url发送请求
    for detail_url in detail_url_list:
        detail_res=get_page(url=detail_url)

        #4、解析详情页获取视频url
        movie_url=parse_detail(detail_res.text)
        print(movie_url)

        #5、保存视频
        save_movie(movie_url)

五、多线程爬取整个“梨视频”中的视频

import requests
import re  # 正则模块
# uuid.uuid4()  可以根据时间戳生成一段世界上唯一的随机字符串
import uuid
# 导入线程池模块
from concurrent.futures import ThreadPoolExecutor
# 线程池限制50个线程
pool = ThreadPoolExecutor(50)

# 爬虫三部曲

# 1、发送请求
def get_page(url):
    print(f'开始异步任务: {url}')
    response = requests.get(url)
    return response


# 2、解析数据
# 解析主页获取视频详情页ID
def parse_index(res):

    response = res.result()
    # 提取出主页所有ID
    id_list = re.findall('<a href="video_(.*?)"', response.text, re.S)
    # print(res)

    # 循环id列表
    for m_id in id_list:
        # 拼接详情页url
        detail_url = 'https://www.pearvideo.com/video_' + m_id
        # print(detail_url)
        # 把详情页url提交给get_page函数
        pool.submit(get_page, detail_url).add_done_callback(parse_detail)


# 解析详情页获取视频url
def parse_detail(res):
    response = res.result()
    movie_url = re.findall('srcUrl="(.*?)"', response.text, re.S)[0]
    # 异步提交把视频url传给get_page函数,把返回的结果传给save_movie
    pool.submit(get_page, movie_url).add_done_callback(save_movie)


# 3、保存数据
def save_movie(res):

    movie_res = res.result()

    # 把视频写到本地
    with open(f'{uuid.uuid4()}.mp4', 'wb') as f:
        f.write(movie_res.content)
        print(f'视频下载结束: {movie_res.url}')
        f.flush()


if __name__ == '__main__':  # main + 回车键

    # 一 往get_page发送异步请求，把结果交给parse_index函数
    url = 'https://www.pearvideo.com/'
    pool.submit(get_page, url).add_done_callback(parse_index)