在multiprocessing.dummy线程池，基于线程 pool.map（callback，alist）再次处理数据：爬取某音乐网站热歌排行榜里面的歌曲！

本作品不可用于任何商业途径，仅供学习交流！！！

分析：

在某音乐网站热歌排行榜里面，随便点击一首歌曲，进入歌曲网页，打开浏览器的开发者工具，刷新网页，播放下歌曲，浏览器的抓包工具network抓包如下图：

在某音乐网站热歌排行榜网页里面，打开浏览器的开发者工具，刷新网页，浏览器的抓包工具network抓包如下图：

代码部分：

线程池：

from multiprocessing.dummy import Pool

pool.map（callback，alist） ---- 可以使用callback（回调函数）对alist中的每一个元素进行指定形式（回调函数）的异步操作！

抓取到网站排行榜里面歌曲的id和name

import os
import requests,time
from multiprocessing.dummy import Pool#需要用到的包


dirName = 'musickw'
if not os.path.exists(dirName):
    os.mkdir(dirName)#设置保存下载歌曲的文件夹

headers = {
    'csrf': 'BMULNZWEZ3B',
    'Cookie': 'kw_token=BMULNZWEZ3B',
    'Referer': 'http://www.kuwo.cn/rankList',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.52',
}#伪装成浏览器，要是headers设置上面这些还报错，再加其他的进去

music_list = []#抓取排行榜前4页歌曲的id，name放在这个music_list列表里面
for page in range(1,4):#抓取排行榜前4页歌曲的id，name

    params = {
        'bangId': '93',
        'pn': str(page),
        'rn': '30',
        'httpsStatus': '1',
        'reqId': '04ae7fd0-79d2-11eb-97b6-f59160d5f14c',
    }

    session = requests.Session()#requests中sessiondcookie自动处理
    id_url = '获取排行榜歌曲id和歌曲name的ajax请求url'
    response_dic = session.get(url=id_url,headers=headers,params=params).json()
    time.sleep(0.5)#设置个等待时间，避免网站检查到请求频繁被禁出错
    reqId = response_dic['reqId']

    for i in response_dic['data']['musicList']:
        music_id = i['rid']
        music_name = i['name']
        info_dic = {
            'id':music_id,
            'name':music_name,
            'reqId':reqId,
        }
        music_list.append(info_dic)#上面是数据定位提取，放在个字典里面，然后把歌曲的id、name以字典的形式放在music_list列表里面

第一个 pool.map（callback，alist） 获取到歌曲的播放地址：

import os
import requests,time
from multiprocessing.dummy import Pool#需要用到的包


dirName = 'musickw'
if not os.path.exists(dirName):
    os.mkdir(dirName)#设置保存下载歌曲的文件夹

headers = {
    'csrf': 'BMULNZWEZ3B',
    'Cookie': 'kw_token=BMULNZWEZ3B',
    'Referer': 'http://www.kuwo.cn/rankList',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.52',
}#伪装成浏览器，要是headers设置上面这些还报错，再加其他的进去

music_list = []#抓取排行榜前4页歌曲的id，name放在这个music_list列表里面
for page in range(1,4):#抓取排行榜前4页歌曲的id，name

    params = {
        'bangId': '93',
        'pn': str(page),
        'rn': '30',
        'httpsStatus': '1',
        'reqId': '04ae7fd0-79d2-11eb-97b6-f59160d5f14c',
    }

    session = requests.Session()#requests中sessiondcookie自动处理
    id_url = '获取排行榜歌曲id和歌曲name的ajax请求url'
    response_dic = session.get(url=id_url,headers=headers,params=params).json()
    time.sleep(0.5)#设置个等待时间，避免网站检查到请求频繁被禁出错
    reqId = response_dic['reqId']

    for i in response_dic['data']['musicList']:
        music_id = i['rid']
        music_name = i['name']
        info_dic = {
            'id':music_id,
            'name':music_name,
            'reqId':reqId,
        }
        music_list.append(info_dic)#上面是数据定位提取，放在个字典里面，然后把歌曲的id、name以字典的形式放在music_list列表里面

def get_musicUrl(music_list):

    headers = {
        'csrf': 'BMULNZWEZ3B',
        'Cookie': 'kw_token=BMULNZWEZ3B',
        'Referer': 'http://www.kuwo.cn/rankList',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.52',
    }

    reqId = music_list['reqId']
    music_id = music_list['id']
    music_name = music_list['name']#把music_list列表里面字典，字典里面的歌曲id、name、reqId提取出来，作为下面params的参数

    params = {
        'format': 'mp3',
        'rid': music_id,
        'response': 'url',
        'type': 'convert_url3',
        'br': '128kmp3',
        'from': 'web',
        't': str(int(round(time.time() * 1000))),#当前的时间戳
        'httpsStatus': '1',
        'reqId': reqId,
    }
    music_url = '获取到歌曲播放地址的ajax请求url'
    try:
        response_music_url = session.get(url=music_url, headers=headers, params=params).json()['url']
        time.sleep(1)#设置个等待时间，避免网站检查到请求频繁被禁出错
        info_dic =  {
            'url':response_music_url,
            'name':music_name,
        }
        return info_dic #把获取到的歌曲播放地址和name封装到字典里面作为回调函数的返回值
    except:#处理异常报错
        response_music_url = session.get(url=music_url, headers=headers, params=params).json()['url']
        info_dic = {
            'url': response_music_url,
            'name': music_name,
        }
        return info_dic

if __name__ == '__main__':
    pool = Pool(10)
    music_url = pool.map(get_musicUrl,music_list)#返回的是歌曲的播放地址和name的字典
    pool.close()
    pool.join()

第二个 pool.map（callback，alist） 对获取到的歌曲播放地址发起请求：

import os
import requests,time
from multiprocessing.dummy import Pool#需要用到的包


dirName = 'musickw'
if not os.path.exists(dirName):
    os.mkdir(dirName)#设置保存下载歌曲的文件夹

headers = {
    'csrf': 'BMULNZWEZ3B',
    'Cookie': 'kw_token=BMULNZWEZ3B',
    'Referer': 'http://www.kuwo.cn/rankList',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.52',
}#伪装成浏览器，要是headers设置上面这些还报错，再加其他的进去

music_list = []#抓取排行榜前4页歌曲的id，name放在这个music_list列表里面
for page in range(1,4):#抓取排行榜前4页歌曲的id，name

    params = {
        'bangId': '93',
        'pn': str(page),
        'rn': '30',
        'httpsStatus': '1',
        'reqId': '04ae7fd0-79d2-11eb-97b6-f59160d5f14c',
    }

    session = requests.Session()#requests中sessiondcookie自动处理
    id_url = '获取排行榜歌曲id和歌曲name的ajax请求url'
    response_dic = session.get(url=id_url,headers=headers,params=params).json()
    time.sleep(0.5)#设置个等待时间，避免网站检查到请求频繁被禁出错
    reqId = response_dic['reqId']

    for i in response_dic['data']['musicList']:
        music_id = i['rid']
        music_name = i['name']
        info_dic = {
            'id':music_id,
            'name':music_name,
            'reqId':reqId,
        }
        music_list.append(info_dic)#上面是数据定位提取，放在个字典里面，然后把歌曲的id、name以字典的形式放在music_list列表里面

def get_musicUrl(music_list):

    headers = {
        'csrf': 'BMULNZWEZ3B',
        'Cookie': 'kw_token=BMULNZWEZ3B',
        'Referer': 'http://www.kuwo.cn/rankList',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.52',
    }

    reqId = music_list['reqId']
    music_id = music_list['id']
    music_name = music_list['name']#把music_list列表里面字典，字典里面的歌曲id、name、reqId提取出来，作为下面params的参数

    params = {
        'format': 'mp3',
        'rid': music_id,
        'response': 'url',
        'type': 'convert_url3',
        'br': '128kmp3',
        'from': 'web',
        't': str(int(round(time.time() * 1000))),#当前的时间戳
        'httpsStatus': '1',
        'reqId': reqId,
    }
    music_url = '获取到歌曲播放地址的ajax请求url'
    try:
        response_music_url = session.get(url=music_url, headers=headers, params=params).json()['url']
        time.sleep(1)#设置个等待时间，避免网站检查到请求频繁被禁出错
        info_dic =  {
            'url':response_music_url,
            'name':music_name,
        }
        return info_dic #把获取到的歌曲播放地址和name封装到字典里面作为回调函数的返回值
    except:#处理异常报错
        response_music_url = session.get(url=music_url, headers=headers, params=params).json()['url']
        info_dic = {
            'url': response_music_url,
            'name': music_name,
        }
        return info_dic

def get_music_content(url_dic):对获取到的歌曲播放地址发起请求
    headers = {
        'csrf': 'BMULNZWEZ3B',
        'Cookie': 'kw_token=BMULNZWEZ3B',
        'Referer': 'http://www.kuwo.cn/rankList',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.52',
    }
    url = url_dic['url']
    name = url_dic['name']  #字典里面的歌曲播放地址 、name、提取出来
    # music_name = name +'.mp3'
    print(time.strftime("%y-%m-%d %H:%M:%S"),':正在下载music:{} ......'.format(name))
    music_data = session.get(url=url,headers=headers).content #对歌曲播放地址发起请求
    info_dic = {
        'content':music_data,
        'name':name,
    }
    return info_dic #把请求获取到的歌曲二进制数据和name封装到字典里面作为回调函数的返回值



if __name__ == '__main__':
    pool = Pool(10)
    music_url = pool.map(get_musicUrl,music_list)#返回的是歌曲的播放地址和name的字典
    music_content = pool.map(get_music_content,music_url)#返回的是歌曲的二进制数据和name的字典
    pool.close()
    pool.join()

第三个 pool.map（callback，alist） 对获取到的歌曲二进制数据和name持久化存储（全部代码）：

import os
import requests,time
from multiprocessing.dummy import Pool#需要用到的包


dirName = 'musickw'
if not os.path.exists(dirName):
    os.mkdir(dirName)#设置保存下载歌曲的文件夹

headers = {
    'csrf': 'BMULNZWEZ3B',
    'Cookie': 'kw_token=BMULNZWEZ3B',
    'Referer': 'http://www.kuwo.cn/rankList',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.52',
}#伪装成浏览器，要是headers设置上面这些还报错，再加其他的进去

music_list = []#抓取排行榜前4页歌曲的id，name放在这个music_list列表里面
for page in range(1,4):#抓取排行榜前4页歌曲的id，name

    params = {
        'bangId': '93',
        'pn': str(page),
        'rn': '30',
        'httpsStatus': '1',
        'reqId': '04ae7fd0-79d2-11eb-97b6-f59160d5f14c',
    }

    session = requests.Session()#requests中sessiondcookie自动处理
    id_url = '获取排行榜歌曲id和歌曲name的ajax请求url'
    response_dic = session.get(url=id_url,headers=headers,params=params).json()
    time.sleep(0.5)#设置个等待时间，避免网站检查到请求频繁被禁出错
    reqId = response_dic['reqId']

    for i in response_dic['data']['musicList']:
        music_id = i['rid']
        music_name = i['name']
        info_dic = {
            'id':music_id,
            'name':music_name,
            'reqId':reqId,
        }
        music_list.append(info_dic)#上面是数据定位提取，放在个字典里面，然后把歌曲的id、name以字典的形式放在music_list列表里面

def get_musicUrl(music_list):

    headers = {
        'csrf': 'BMULNZWEZ3B',
        'Cookie': 'kw_token=BMULNZWEZ3B',
        'Referer': 'http://www.kuwo.cn/rankList',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.52',
    }

    reqId = music_list['reqId']
    music_id = music_list['id']
    music_name = music_list['name']#把music_list列表里面字典，字典里面的歌曲id、name、reqId提取出来，作为下面params的参数

    params = {
        'format': 'mp3',
        'rid': music_id,
        'response': 'url',
        'type': 'convert_url3',
        'br': '128kmp3',
        'from': 'web',
        't': str(int(round(time.time() * 1000))),#当前的时间戳
        'httpsStatus': '1',
        'reqId': reqId,
    }
    music_url = '获取到歌曲播放地址的ajax请求url'
    try:
        response_music_url = session.get(url=music_url, headers=headers, params=params).json()['url']
        time.sleep(1)#设置个等待时间，避免网站检查到请求频繁被禁出错
        info_dic =  {
            'url':response_music_url,
            'name':music_name,
        }
        return info_dic #把获取到的歌曲播放地址和name封装到字典里面作为回调函数的返回值
    except:#处理异常报错
        response_music_url = session.get(url=music_url, headers=headers, params=params).json()['url']
        info_dic = {
            'url': response_music_url,
            'name': music_name,
        }
        return info_dic

def get_music_content(url_dic):对获取到的歌曲播放地址发起请求
    headers = {
        'csrf': 'BMULNZWEZ3B',
        'Cookie': 'kw_token=BMULNZWEZ3B',
        'Referer': 'http://www.kuwo.cn/rankList',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.52',
    }
    url = url_dic['url']
    name = url_dic['name']  #字典里面的歌曲播放地址 、name、提取出来
    # music_name = name +'.mp3'
    print(time.strftime("%y-%m-%d %H:%M:%S"),':正在下载music:{} ......'.format(name))
    music_data = session.get(url=url,headers=headers).content #对歌曲播放地址发起请求
    info_dic = {
        'content':music_data,
        'name':name,
    }
    return info_dic #把请求获取到的歌曲二进制数据和name封装到字典里面作为回调函数的返回值

def get_music_mp3(content_dic):

    content = content_dic['content']
    name = content_dic['name'] #字典里面的歌曲播二进制数据 、name、提取出来
    music_name = name + '.mp3'#保存格式
    dirName = 'musickw'
    fileName = dirName + '/' + music_name
    with open(fileName,'wb') as fp:
        fp.write(content)
        print(time.strftime("%y-%m-%d %H:%M:%S"),': music: {} 下载成功 ！！！'.format(name))

if __name__ == '__main__':
    pool = Pool(10)
    music_url = pool.map(get_musicUrl,music_list)#返回的是歌曲的播放地址和name的字典，把返回参数music_url 给下一个pool.map（）作为里面的alist
    music_content = pool.map(get_music_content,music_url)#返回的是歌曲的二进制数据和name的字典
    pool.map(get_music_mp3,music_content)#最后一个pool.map()可以没有返回
    pool.close()#关闭线程池
    pool.join()

ok，这样就完成了！ 下面是效果图：

本作品不可用于任何商业途径，仅供学习交流！！！