• 爬虫实例——爬取1元夺宝用户头像(借助谷歌浏览器开发者工具)


    环境

    操作系统:Windows 7

    Python版本:2.7.9

    过程

    1. 打开谷歌浏览器;
    2. 打开1元夺宝商品列表页面
    3. 随便点击一个商品,按F12调用开发者工具,选择“Network”标签,筛选“XHR”,再单击页面上的“夺宝参与记录”;
    4. 观察开发者工具,找到返回JSON格式数据的URL,如下图:
    5. 从上图的URL返回的JSON格式数据我们可以得知参与夺宝的用户数(totalCnt),每个用户的头像链接前缀(avatarPrefix);
    6. 随便点击一个用户,从开发者工具中可以得知用户头像的URL是由头像链接前缀和“160.jpeg”组成的。

    代码

    # -*- coding: utf-8 -*-
    import sys
    reload(sys)
    sys.setdefaultencoding('utf-8')
    '''
    作者:昨夜星辰
    '''
    
    import re
    import os
    import requests
    from bs4 import BeautifulSoup
    
    # 创建一个用于存放头像的文件夹
    folder = u'头像'
    os.mkdir(folder)
    
    # 用于存放用户的cid
    cidList = []
    
    # 用于头像计数
    picCnt = 1
    
    url = 'http://1.163.com/list.html'
    bs = BeautifulSoup(requests.get(url).text, 'lxml')
    for div in bs('div', 'w-goods w-goods-l w-goods-ing'):
        gid = div['data-gid']
        period = div['data-period']
        url = 'http://1.163.com/record/getDuobaoRecord.do?pageNum=1&pageSize=50&totalCnt=0&gid=%s&period=%s' % (gid, period)
        json = requests.get(url).json()
        totalCnt = json['result']['totalCnt']
        for pageNum in range(1, totalCnt / 50 + 1):
            url = 'http://1.163.com/record/getDuobaoRecord.do?pageNum=%d&pageSize=50&totalCnt=%d&gid=%s&period=%s' % (pageNum, totalCnt, gid, period)
            json = requests.get(url).json()
            for _list in json['result']['list']:
                cid = _list['user']['cid']
                if cid in cidList:
                    continue
                cidList.append(cid)
                avatarPrefix = _list['user']['avatarPrefix']
                if avatarPrefix:
                    url = avatarPrefix + '160.jpeg'
                    filename = folder + '\' + re.search(r'.*/(.*)', url).group(1)
                    print u'正在保存第%d个头像...' % picCnt
                    picCnt += 1
                    with open(filename, 'wb') as f:
                        f.write(requests.get(url).content)
  • 相关阅读:
    [bzoj4942][noi2017]整数【线段树】
    面向对象的几个函数
    各种编码方式及其来历
    java nio中,HeapByteBuffer与DirectByteBuffer的区别
    volatile关键字的作用
    git常用命令
    关于git的一些零碎知识
    rm(操作系统的删除文件)与git rm的区别
    php的数组
    SQL Server中模式(schema)、数据库(database)、表(table)、用户(user)之间的关系
  • 原文地址:https://www.cnblogs.com/yestreenstars/p/5565245.html
Copyright © 2020-2023  润新知