python3爬取微博评论并存为xlsx
**
由于微博电脑端的网页版页面比较复杂，我们可以访问手机端的微博网站，网址为：https://m.weibo.cn/
一、访问微博网站，找到热门推荐链接
我们打开微博网站后看见热门页，按F12查看网页结构后只能看见如下图短短的几个文章。
然后我们将滚动条向下滚动，发现新的文章会在底部加载，原来微博的热门文章加载方式是Ajax加载的，那我们就不能在网页源码中找标签了，我们点击如下图所示的network标签，找找请求地址。
我们查看请求返回值后发现下图的请求返回的是一个json格式的数据。
其实这就是热门文章存放的地址。在headers中找到gRequest请求的链接，是：https://m.weibo.cn/api/container/getIndex?containerid=102803&openApp=0
二、requests请求获取json数据
我们利用requests获取目标地址返回的json数据，并对其进行打印：
response = requests.get(self.con_url, headers=self.headers)
data = json.loads(response.text)
pprint.pprint(data)
1
2
3
使用pprint来输出，可以按json格式输出获得的结果，这样方便查看，如下图：
三、提取文章信息
文章的所有信息都存放在我们获取的json数据中，接下来我们只要根据键去取对应的值即可：
data1 = data['data']['cards']
# pprint.pprint(data1)
for card_group in data1:
try:
for mblog in card_group['card_group']:
pprint.pprint(mblog['mblog']['id'])
link_list.append(mblog['mblog']['id'])
# pprint.pprint(card_group['card_group'])
except:
pprint.pprint(card_group['mblog']['id'])
link_list.append(card_group['mblog']['id'])
1
2
3
4
5
6
7
8
9
10
11
我们获取了文章的id可以根据文章的id访问文章的详细信息。
四、访问文章详情，获取用户评论及信息
对文章的地址进行拼接，获取评论区用户信息及评论内容。
datas = {} # 存放用户ID以及评论内容
ID = [] # 存放用户ID
comment = [] # 存放用户评论
name = [] # 存放用户名
for link in links:
url = self.urlhead + link + self.urlend + link + '&max_id_type=0'
print(url)
response = requests.get(url, headers=self.headers)
try:
details = json.loads(response.text)['data']['data']
except:
print('ok--------------')
# print(details)
for content in details:
user_id = content['user']['id']
text = content['text']
user_name = content['user']['screen_name']
# print(user_id)
# print(text)
ID.append(user_id)
comment.append(text)
name.append(user_name)
datas['用户ID'] = ID
datas['昵称'] = name
datas['评论'] = comment
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
将获取的用户信息存为字典。
五、将用户信息存入Excel表格
def save_datas(self, datas):
datas = DataFrame(datas) # 将字典转换为DataFrame对象
datas.to_excel('pinglun/datas.xlsx', encoding='utf-8')
print('数据写入成功')
1
2
3
4
源码如下：
import requests
import json
import pprint
from pandas import DataFrame
class WeiboSpider:
def __init__(self):
self.headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"
}
self.con_url = 'https://m.weibo.cn/api/container/getIndex?containerid=102803&openApp=0'
self.urlhead = 'https://m.weibo.cn/comments/hotflow?id='
self.urlend = '&mid='
def get_link(self):
link_list = []
response = requests.get(self.con_url, headers=self.headers)
data = json.loads(response.text)
data1 = data['data']['cards']
# pprint.pprint(data1)
for card_group in data1:
try:
for mblog in card_group['card_group']:
pprint.pprint(mblog['mblog']['id'])
link_list.append(mblog['mblog']['id'])
# pprint.pprint(card_group['card_group'])
except:
pprint.pprint(card_group['mblog']['id'])
link_list.append(card_group['mblog']['id'])
self.load_page(link_list)
def load_page(self, links):
datas = {} # 存放用户ID以及评论内容
ID = [] # 存放用户ID
comment = [] # 存放用户评论
name = [] # 存放用户名
for link in links:
url = self.urlhead + link + self.urlend + link + '&max_id_type=0'
print(url)
response = requests.get(url, headers=self.headers)
try:
details = json.loads(response.text)['data']['data']
except:
print('ok--------------')
# print(details)
for content in details:
user_id = content['user']['id']
text = content['text']
user_name = content['user']['screen_name']
# print(user_id)
# print(text)
ID.append(user_id)
comment.append(text)
name.append(user_name)
datas['用户ID'] = ID
datas['昵称'] = name
datas['评论'] = comment
self.save_datas(datas)
def save_datas(self, datas):
datas = DataFrame(datas) # 将字典转换为DataFrame对象
datas.to_excel('pinglun/datas.xlsx', encoding='utf-8')
print('数据写入成功')
if __name__ == '__main__':
crawl = WeiboSpider(http://www.my516.com)
crawl.get_link()
---------------------