python爬虫的小应用

一、爬取b站用户信息

　　本次爬取b站第1-10个用户的个人信息，包括昵称，性别，头像，粉丝数，播放数等。

import requests
import json
import os


vip_type = {0:'普通用户',1:'小会员',2:'大会员'}
headers = {
    'Referer': 'https://space.bilibili.com',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
}

def download_face(url,mid,name):
    ''' 下载头像 '''
    print('正在下载用户头像...')
    if not os.path.exists('b站用户头像'):
        os.mkdir('b站用户头像') # 创建目录存放头像
    img = requests.get(url,headers=headers).content # 获得头像的二进制源码
    with open('b站用户头像/{}_{}.jpg'.format(mid,name),'wb') as f:
        f.write(img)

def get_user_ele_info(url):
    '''获取用户基本信息'''
    jsondata = requests.get(url).json()['data']
    mid = jsondata['mid']
    name = jsondata['name']
    sex = jsondata['sex']
    level = jsondata['level']
    sign = jsondata['sign']
    official = jsondata['official']['title']
    vip_num = jsondata['vip']['type']
    face_url = jsondata['face']
    download_face(face_url,mid,name) #
    print('用户UID：{}'.format(mid))
    print('用户姓名：{}'.format(name))
    print('用户性别：{}'.format(sex))
    print('用户等级：{}'.format(level))
    print('用户类型：{}'.format(vip_type.get(vip_num)))
    print('用户个性签名：{}'.format(sign))
    print('用户官方认证：{}'.format(official))

def get_user_follow(url):
    ''' __jp3获取用户关注数和粉丝数 '''
    text_data = requests.get(url,headers=headers).text[6:-1] # str
    # 获取的是非标准的json格式的数据，做一下字符串截取操作，去掉冗余数据
    jsondata = json.loads(text_data) # 用json包重新加载一下字符串 ,变为dict类型
    data = jsondata['data']   
    following = data['following']
    follower = data['follower']
    print('用户关注数：{}'.format(following))
    print('用户粉丝数：{}'.format(follower))

def get_user_achieve(url):
    ''' __jp4获取用户成就，如粉丝数、获赞数、播放数等 '''
    text_data = requests.get(url,headers=headers).text[6:-1] 
    jsondata = json.loads(text_data) 
    data = jsondata['data']
    video_views = data['archive']['view']
    likes = data['likes']
    print('用户获赞数：{}'.format(likes))
    print('用户视频播放数：{}'.format(video_views))


def main():
    for i in range(1,11):
        url_ele_info = 'https://api.bilibili.com/x/space/acc/info?mid={}&jsonp=json'.format(i)
        url_follow = 'https://api.bilibili.com/x/relation/stat?vmid={}&jsonp=jsonp&callback=__jp3'.format(i)
        url_achieve = 'https://api.bilibili.com/x/space/upstat?mid={}&jsonp=jsonp&callback=__jp4'.format(i)
        get_user_ele_info(url_ele_info)
        get_user_follow(url_follow)
        get_user_achieve(url_achieve)
        print('-'*100)
        
if __name__ == '__main__':
    main()

运行结果：

用户头像：

二、

待续。。。