作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881
1. 简单说明爬虫原理
2. 理解爬虫开发过程
1).简要说明浏览器工作原理；
1）用户界面-地址栏，前进、后退，书签菜单。
2）浏览器引擎-在用户接和呈现引擎之间传送指令。
3）呈现引擎-显示请求的内容。
4）网络-网络调用，如http请求。
5）用户界面后端-绘制基本窗口小部件。
6）JavaScript解析器-解析和执行js代码。
7）数据存储-持久层，把需要的数据保存在硬盘上，如cookie.
2).使用 requests 库抓取网站数据；
requests.get(url) 获取校园新闻首页html代码
html=requests.get('http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0329/11095.html')
3).了解网页
写一个简单的html文件，包含多个标签，类，id
<!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>gzcc(runoob.com)</title> </head> <body> <div style="color:#0000FF" class=“1”> <p>这是第1个在 div 元素中的文本。</p> </div> <div style="color:#0000FF" class=“2”> <h2>这是第2个在 div 元素中的标题。</h3> <p>这是3个在 div 元素中的文本。</p> </div> <div style="color:#0000FF" class=“3”> <h3>这是4个在 div 元素中的文本。</h3> <p>这是5个在 div 元素中的文本。</p> </div> </body> </html>
4).使用 Beautiful Soup 解析网页；
通过BeautifulSoup(html_sample,'html.parser')把上述html文件解析成DOM Tree
select（选择器）定位数据
找出含有特定标签的html元素
找出含有特定类名的html元素
找出含有特定id名的html元素
import requests import bs4 from bs4 import BeautifulSoup from datetime import datetime html=requests.get('http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0329/11095.html') html.encoding='utf-8'#去掉这句则乱码，加上则正常显示，其中utf-8是根据网页源代码中设置的编码格式来指定的 print(html.text) print('---------------------------------------------------------------------------------------------------------') t1=html.text soups = BeautifulSoup(t1,'html.parser') a1 =soups.a a = soups.select('a') h = soups.select('h1') t = soups.select('#title') l = soups.select('.link') print(a)
3.提取一篇校园新闻的标题、发布时间、发布单位、作者、点击次数、内容等信息
如url = 'http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html'
要求发布时间为datetime类型，点击次数为数值型，其它是字符串类型。
import requests
import bs4
from bs4 import BeautifulSoup
from datetime import datetime
html=requests.get('http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0329/11095.html')
html.encoding='utf-8'#去掉这句则乱码，加上则正常显示，其中utf-8是根据网页源代码中设置的编码格式来指定的
soups = BeautifulSoup(t1,'html.parser')
ti=soups.select('.show-title')[0].text
info=soups.select('.show-info')[0].text.split()#info此时是列表
content=soups.select('#content')#正文存入content
publish_date=info[0].split('发布时间:')[1]#以发布时间隔开成为数组，选取第二个元素
click = BeautifulSoup(t1.split(".html")[-1].split("'")[1],'html.parser')
date=datetime.strptime(publish_date+' '+info[1],'%Y-%m-%d %H:%M:%S')
zuozhe =info[2]
shenhe=info[3]
laiyuan=info[4]
sheying=info[5]
print('标题:'+ti)
print('发布时间:'+str(date))
print(zuozhe+' '+shenhe+' '+laiyuan+' '+sheying)
print("点击次数："+str(click))
print("内容："+content[0].text)
