首先介绍什么是爬虫
一、爬虫的基本原理
1.什么是爬虫?
爬虫就是爬取数据。
2.什么是互联网?
由一堆网络设备,把一台台的
计算机互联到一起称之为互联网。
3.互联网建立的目的
数据的传递与数据的共享。
4.什么是数据?
例如:
电商平台的商品信息
股票证券投资信息
12306,票务信息(抢票)
5.什么是上网?
普通用户:
打开浏览器
------》输入网址
------》往目标主机发送网址
------》返回响应数据
------》把数据渲染到浏览器中
爬虫程序:
模拟浏览器
-----》往目标主机发送请求
-----》返回响应数据
-----》解析并提取有价值的数据
-----》保存数据(文件写入本地、持久化到数据库)
6.爬虫的全过程
1.发送请求(请求库:request/selenium)
2.获取响应数据
3.解析数据(解析库:BeautifulSoup4)
4.保存数据(存储库:文件保存MonGoDB)
总结:假如互联网中数据比喻成宝藏,爬虫就是在挖取宝藏。
接下来是爬校花网小视频
import time import requests # 爬虫三部曲 # 1.发送请求 def get_page(url): response= requests.get(url) return response # 2.解析数据 import re def parse_index(html): #findall匹配所有 # re.finadall("正则匹配规则","匹配文本","匹配模式") # re.S 对全部文本进行搜索匹配 detail_urls=re.findall( '<div class="items"><a class="imglink" href="(.*?)"',html, re.S) return detail_urls #解析详情页 def parse_detail(html): movie_url=re.findall('<source src="(.*?)">',html,re.S) if movie_url: return movie_url[0] # 3.保存数据 import uuid def save_video(content): #uuid.uuid4()根据时间戳生成一段世界上唯一的字符串 with open(f'{uuid.uuid4()}.mp4','wb')as f: f.write(content) print('视频下载完毕,请看') # main +回车键 #测试 用例: if __name__ == '__main__': for line in range(6): url=f'http://www.xiaohuar.com/list-3-{line}.html' #发送请求 response = get_page(url) # print(response) ##返回响应状态码 #print(response.status_code) #返回响应文本 #print(response.text) #解析主页页面 detail_urls=parse_index(response.text) #循环遍历详情页url for detail_url in detail_urls: # print(detail_url) #往每一个详情页发送请求 detail_res = get_page(detail_url) # print(response.text) #解析详情页获取视频url movie_url= parse_detail(detail_res.text) #判断视频url存在则打印 if movie_url: print(movie_url) #往视频url发送请求获取视频二进制流 movie_res=get_page(movie_url) #吧视频的二进制流传给save_video函数去保存到本地 save_video(movie_res.content)