Python爬虫实验报告之Big_Homework1_Lishipin

实验目的：

爬取梨视频网站某模块全部信息；

字段信息为：视频标题、作者、点赞数，纯视频链接，并且存入txt文档。

实验过程截图：

源码：

import requests
from lxml import etree
from urllib import request
import re

# 全局变量（请求头+文件IO对象）
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36 Edg/85.0.564.44'}
file = open('./梨视频.txt', 'w', encoding='utf-8')


# 采集前端源码
def index():
    for num in range(0, 493, 12):
        base_url = 'https://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=59&start={}'.format(num)
        print('正在写入', base_url, '中的数据信息...')
        response = requests.get(base_url, headers=headers)  # 模拟访问+请求头
        response.encoding = 'utf-8'  # 解码
        html = response.text  # 获取源码
        clean(html)  # 清洗数据


# 清洗数据
def clean(html):
    htmls = etree.HTML(html)  # 预处理
    video_titles = htmls.xpath('//div[@class="vervideo-bd"]/a/div[2]/text()')
    # print(video_titles)，视频标题
    video_authors = htmls.xpath('//div[@class="vervideo-bd"]/div/a/text()')
    # print(video_authors)，作者
    video_likes = htmls.xpath('//div[@class="vervideo-bd"]/div/span/text()')
    # print(video_likes)，点赞数
    video_urls1 = htmls.xpath('//div[@class="vervideo-bd"]/a/@href')
    # print(video_urls1),不完整的视频链接
    printt(video_titles,video_authors,video_likes,video_urls1)


# 打印数据
def printt(video_titles,video_authors,video_likes,video_urls1):
    # 拼接
    for vu,vt,va,vl in zip(video_urls1,video_titles,video_authors,video_likes):
        video_urls2 = 'https://www.pearvideo.com/' + vu
        # print(video_urls2)
        # 第二层访问
        response = requests.get(video_urls2)
        response.encoding = 'utf-8'
        html = response.text
        # print(html)
        # 吸星大法
        pattern = re.compile('srcUrl="(.*?)",vdoUrl')
        video_url = pattern.findall(html)[0]
        # print(video_url)
        full_info='视频标题：'+vt+'	'+'作者：'+va+'	'+'点赞数：'+str(vl)+'
'+video_url
        file.write(full_info+'
')


# 下载模块
def download():
    pass


if __name__ == '__main__':
    index()
    file.close()

实验心得：

因为我先写的大作业2，所以这个写的顺的一批，中间也没遇到什么烦人的bug，又是一段开心的编程经历。