前言
aiohttp是一个为Python提供异步HTTP 客户端/服务端编程，基于asyncio(Python用于支持异步编程的标准库)的异步库。
aiohttp强调的是异步并发。提供了对asyncio/await的支持，可以实现单线程并发IO操作。
python异步aiohttp和同步requests
- 下面以爬取豆瓣top250为例
requests抓取：
import requests
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
}
start = time.time()
for page in range(0, 250, 25):
data = requests.get(f"https://movie.douban.com/top250?start=0", headers=headers)
html = etree.HTML(data.text)
title_list = html.xpath('//div[@class="item"]/div/a/img/@alt')
print(title_list)
end = time.time()
print(f"Time consuming:{end -start}")
执行结果：最终消耗时间是1.7s左右
['肖申克的救赎', '霸王别姬', '阿甘正传', '这个杀手不太冷', '美丽人生', '泰坦尼克号', '千与千寻', '辛德勒的名单', '盗梦空间', '忠犬八公的故事', '海上钢琴师', '楚门的世界', '三傻大闹宝莱坞', '机器人总动员', '放牛班的春天', '星际穿越', '大话西游之大圣娶亲', '熔炉', '疯狂动物城', '无间道', '龙猫', '教父', '当幸福来敲门', '怦然心动', '触不可及']
['蝙蝠侠：黑暗骑士', '控方证人', '活着', '乱世佳人', '寻梦环游记', '末代皇帝', '摔跤吧！爸爸', '指环王3：王者无敌', '何以为家', '少年派的奇幻漂流', '飞屋环游记', '十二怒汉', '鬼子来了', '天空之城', '哈尔的移动城堡', '大话西游之月光宝盒', '素媛', '天堂电影院', '罗马假日', '闻香识女人', '辩护人', '哈利·波特与魔法石', '搏击俱乐部', '我不是药神', '死亡诗社']
['教父2', '指环王2：双塔奇兵', '狮子王', '窃听风暴', '大闹天宫', '指环王1：魔戒再现', '两杆大烟枪', '美丽心灵', '猫鼠游戏', '饮食男女', '飞越疯人院', '黑客帝国', '钢琴家', 'V字仇杀队', '本杰明·巴顿奇事', '看不见的客人', '让子弹飞', '西西里的美丽传说', '小鞋子', '拯救大兵瑞恩', '海豚湾', '情书', '穿条纹睡衣的男孩', '音乐之声', '绿皮书']
['美国往事', '海蒂和爷爷', '致命魔术', '低俗小说', '七宗罪', '沉默的羔羊', '蝴蝶效应', '春光乍泄', '禁闭岛', '心灵捕手', '被嫌弃的松子的一生', '布达佩斯大饭店', '阿凡达', '剪刀手爱德华', '摩登时代', '勇敢的心', '天使爱美丽', '喜剧之王', '致命ID', '加勒比海盗', '断背山', '杀人回忆', '狩猎', '哈利·波特与死亡圣器(下)', '幽灵公主']
['请以你的名字呼唤我', '阳光灿烂的日子', '入殓师', '重庆森林', '小森林 夏秋篇', '第六感', '7号房的礼物', '消失的爱人', '红辣椒', '小森林 冬春篇', '爱在黎明破晓前', '侧耳倾听', '玛丽和马克思', '一一', '唐伯虎点秋香', '告白', '超脱', '蝙蝠侠：黑暗骑士崛起', '倩女幽魂', '大鱼', '阳光姐妹淘', '射雕英雄传之东成西就', '萤火之森', '甜蜜蜜', '驯龙高手']
['无人知晓', '超能陆战队', '幸福终点站', '借东西的小人阿莉埃蒂', '菊次郎的夏天', '爱在日落黄昏时', '恐怖直播', '完美的世界', '神偷奶爸', '怪兽电力公司', '玩具总动员3', '血战钢锯岭', '功夫', '风之谷', '傲慢与偏见', '人生果实', '上帝之城', '时空恋旅人', '教父3', '电锯惊魂', '天书奇谭', '喜宴', '英雄本色', '谍影重重3', '被解救的姜戈']
['岁月神偷', '七武士', '哪吒闹海', '我是山姆', '疯狂原始人', '头号玩家', '纵横四海', '三块广告牌', '釜山行', '心迷宫', '达拉斯买家俱乐部', '萤火虫之墓', '真爱至上', '荒蛮故事', '贫民窟的百万富翁', '东邪西毒', '记忆碎片', '爆裂鼓手', '你的名字。', '黑天鹅', '花样年华', '哈利·波特与阿兹卡班的囚徒', '卢旺达饭店', '忠犬八公物语', '黑客帝国3：矩阵革命']
['模仿游戏', '头脑特工队', '一个叫欧维的男人决定去死', '哈利·波特与密室', '雨人', '你看起来好像很好吃', '未麻的部屋', '无敌破坏王', '恋恋笔记本', '冰川时代', '新世界', '海街日记', '二十二', '海边的曼彻斯特', '虎口脱险', '房间', '惊魂记', '恐怖游轮', '魔女宅急便', '奇迹男孩', '人工智能', '雨中曲', '疯狂的石头', '罗生门', '爱在午夜降临前']
['小偷家族', '海洋', '终结者2：审判日', '初恋这件小事', '魂断蓝桥', '燃情岁月', '可可西里', '绿里奇迹', '穿越时空的少女', '2001太空漫游', '牯岭街少年杀人事件', '城市之光', '完美陌生人', '无耻混蛋', '阿飞正传', '新龙门客栈', '源代码', '香水', '谍影重重2', '青蛇', '地球上的星星', '谍影重重', '色，戒', '战争之王', '血钻']
['遗愿清单', '猜火车', '大佛普拉斯', '疯狂的麦克斯4：狂暴之路', '步履不停', '彗星来的那一夜', '朗读者', '浪潮', '小萝莉的猴神大叔', '再次出发之纽约遇见你', '驴得水', '聚焦', '东京物语', '追随', '九品芝麻官', '一次别离', '哈利·波特与火焰杯', '千钧一发', '我爱你', '黑鹰坠落', '四个春天', '网络谜踪', '发条橙', 'E.T. 外星人', '波西米亚狂想曲']
Time consuming:1.792207956314087
aiohttp抓取：
import asyncio
from aiohttp import ClientSession
import time
from lxml import etree
async def load(url, semaphore):
'''
请求函数
:param url: 请求页面路由
:param semaphore: 限制最大并发对象
:return:返回页面信息
'''
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
}
async with semaphore:
async with ClientSession() as session:
async with session.get(url, headers=headers) as response:
return await response.text()
pass
pass
pass
pass
async def pars(url, semaphore):
'''
解析函数
:param url: 请求页面路由
:param semaphore: 限制最大并发对象
:return:
'''
text = await load(url, semaphore) # 获取异步请求返回的值
html = etree.HTML(text)
title_list = html.xpath('//div[@class="item"]/div/a/img/@alt')
print(title_list)
pass
tasks = []
semaphore = asyncio.Semaphore(500) # 限制并发次数，设置并发数为500，处理速度更快
loop = asyncio.get_event_loop() # 创建事件循环对象
start = time.time()
for page in range(0, 250, 25):
url = f"https://movie.douban.com/top250?start={page}"
task = asyncio.ensure_future(pars(url, semaphore)) # 加入到任务列表
tasks.append(task)
pass
loop.run_until_complete(asyncio.wait(tasks)) # 执行异步任务
end = time.time()
print(f"Time consuming:{end -start}")
执行结果：最终耗时0.39，速度提升了四倍多
['蝙蝠侠：黑暗骑士', '控方证人', '活着', '乱世佳人', '寻梦环游记', '末代皇帝', '摔跤吧！爸爸', '指环王3：王者无敌', '何以为家', '少年派的奇幻漂流', '飞屋环游记', '十二怒汉', '鬼子来了', '天空之城', '哈尔的移动城堡', '大话西游之月光宝盒', '素媛', '天堂电影院', '罗马假日', '闻香识女人', '辩护人', '哈利·波特与魔法石', '搏击俱乐部', '我不是药神', '死亡诗社']
['肖申克的救赎', '霸王别姬', '阿甘正传', '这个杀手不太冷', '美丽人生', '泰坦尼克号', '千与千寻', '辛德勒的名单', '盗梦空间', '忠犬八公的故事', '海上钢琴师', '楚门的世界', '三傻大闹宝莱坞', '机器人总动员', '放牛班的春天', '星际穿越', '大话西游之大圣娶亲', '熔炉', '疯狂动物城', '无间道', '龙猫', '教父', '当幸福来敲门', '怦然心动', '触不可及']
['遗愿清单', '猜火车', '大佛普拉斯', '疯狂的麦克斯4：狂暴之路', '步履不停', '彗星来的那一夜', '朗读者', '浪潮', '小萝莉的猴神大叔', '再次出发之纽约遇见你', '驴得水', '聚焦', '东京物语', '追随', '九品芝麻官', '一次别离', '哈利·波特与火焰杯', '千钧一发', '我爱你', '黑鹰坠落', '四个春天', '网络谜踪', '发条橙', 'E.T. 外星人', '波西米亚狂想曲']
['小偷家族', '海洋', '终结者2：审判日', '初恋这件小事', '魂断蓝桥', '燃情岁月', '可可西里', '绿里奇迹', '穿越时空的少女', '2001太空漫游', '牯岭街少年杀人事件', '城市之光', '完美陌生人', '无耻混蛋', '阿飞正传', '新龙门客栈', '源代码', '香水', '谍影重重2', '青蛇', '地球上的星星', '谍影重重', '色，戒', '战争之王', '血钻']
['美国往事', '海蒂和爷爷', '致命魔术', '低俗小说', '七宗罪', '沉默的羔羊', '蝴蝶效应', '春光乍泄', '禁闭岛', '心灵捕手', '被嫌弃的松子的一生', '布达佩斯大饭店', '阿凡达', '剪刀手爱德华', '摩登时代', '勇敢的心', '天使爱美丽', '喜剧之王', '致命ID', '加勒比海盗', '断背山', '杀人回忆', '狩猎', '哈利·波特与死亡圣器(下)', '幽灵公主']
['岁月神偷', '七武士', '哪吒闹海', '我是山姆', '疯狂原始人', '头号玩家', '纵横四海', '三块广告牌', '釜山行', '心迷宫', '达拉斯买家俱乐部', '萤火虫之墓', '真爱至上', '荒蛮故事', '贫民窟的百万富翁', '东邪西毒', '记忆碎片', '爆裂鼓手', '你的名字。', '黑天鹅', '花样年华', '哈利·波特与阿兹卡班的囚徒', '卢旺达饭店', '忠犬八公物语', '黑客帝国3：矩阵革命']
['教父2', '指环王2：双塔奇兵', '狮子王', '窃听风暴', '大闹天宫', '指环王1：魔戒再现', '两杆大烟枪', '美丽心灵', '猫鼠游戏', '饮食男女', '飞越疯人院', '黑客帝国', '钢琴家', 'V字仇杀队', '本杰明·巴顿奇事', '看不见的客人', '让子弹飞', '西西里的美丽传说', '小鞋子', '拯救大兵瑞恩', '海豚湾', '情书', '穿条纹睡衣的男孩', '音乐之声', '绿皮书']
['模仿游戏', '头脑特工队', '一个叫欧维的男人决定去死', '哈利·波特与密室', '雨人', '你看起来好像很好吃', '未麻的部屋', '无敌破坏王', '恋恋笔记本', '冰川时代', '新世界', '海街日记', '二十二', '海边的曼彻斯特', '虎口脱险', '房间', '惊魂记', '恐怖游轮', '魔女宅急便', '奇迹男孩', '人工智能', '雨中曲', '疯狂的石头', '罗生门', '爱在午夜降临前']
['无人知晓', '超能陆战队', '幸福终点站', '借东西的小人阿莉埃蒂', '菊次郎的夏天', '爱在日落黄昏时', '恐怖直播', '完美的世界', '神偷奶爸', '怪兽电力公司', '玩具总动员3', '血战钢锯岭', '功夫', '风之谷', '傲慢与偏见', '人生果实', '上帝之城', '时空恋旅人', '教父3', '电锯惊魂', '天书奇谭', '喜宴', '英雄本色', '谍影重重3', '被解救的姜戈']
['请以你的名字呼唤我', '阳光灿烂的日子', '入殓师', '重庆森林', '小森林 夏秋篇', '第六感', '7号房的礼物', '消失的爱人', '红辣椒', '小森林 冬春篇', '爱在黎明破晓前', '侧耳倾听', '玛丽和马克思', '一一', '唐伯虎点秋香', '告白', '超脱', '蝙蝠侠：黑暗骑士崛起', '倩女幽魂', '大鱼', '阳光姐妹淘', '射雕英雄传之东成西就', '萤火之森', '甜蜜蜜', '驯龙高手']
Time consuming:0.39294934272766113
假如你的并发达到2000个，程序会报错：ValueError: too many file descriptors in select()。报错的原因字面上看是 Python 调取的 select 对打开的文件有最大数量的限制，这个其实是操作系统的限制，linux打开文件的最大数默认是1024，windows默认是509，超过了这个值，程序就开始报错。这里我们有三种方法解决这个问题：
1.限制并发数量。（一次不要塞那么多任务，或者限制最大并发数量）
2.使用回调的方式。
3.修改操作系统打开文件数的最大限制，在系统里有个配置文件可以修改默认值，具体步骤不再说明了。
不修改系统默认配置的话，个人推荐限制并发数的方法，设置并发数为500，处理速度更快。