多任务异步协程，asyncio及aiohttp

要实现异步协程，需要满足几个条件：

　　1，创建协程对象，且协程内部操作需要支持异步。

　　2，创建任务对象，如需为协程执行结果进行进一步处理，则需要为任务对象绑定回调函数。

　　3，创建事件循环，并将任务启动。

import asyncio
import requests
from lxml import etree
import aiohttp
import os

headers = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}


# 普通单线程，同步执行任务
# url_ = 'https://www.qiushibaike.com/pic/page/{}/'
# for i in range(1, 100):
#     url = url_.format(i)
#
#     ret = requests.get(url=url, headers=headers).text
#     tree = etree.HTML(ret)
#     url_list = tree.xpath('//div[@id="content-left"]/div/div/a/img/@src')
#     for url in url_list:
#         name = url.split('/')[-1]
#         print(name)
#         img_url = 'https:' + url
#         img = requests.get(img_url, headers=headers).content
#         with open(os.path.join('qiutu',name), 'wb') as f:
#             f.write(img)

# 使用async修饰过的函数，调用函数时，函数不执行，而是生成了一个协程对象
async def get_img(url):
    """
    # aiohttp的细节处理:
    # asnyc：硬性的语法要求关键字，应用aiohttp的代码模块
    # await: 会出现阻塞的操作的代码中，需要用await修饰

    """

    # ret = requests.get(url=url, headers=headers).text
    name = url.split('/')[-1]

    # 固定写法，aiohttp.ClientSession()，实例化一个异步请求对象
    async with  aiohttp.ClientSession() as aio:
        # 用该对象向url发送异步请求
        async with await aio.get(url=url, headers=headers) as ret:
            # 将响应对象（图片）读取为二进制流，以便存储。（.text().json().read()）对应requests的(.text.json.content)
            res = await ret.read()

    return name, res


# 定义一个回调函数（名字随意），回调函数接收该任务对象本身，(像self)
def callback(task):
    # task.result()接收协程（特殊函数执行的返回结果，可进一步处理）
    name, res = task.result()
    # 将二进制流持久化成本地文件
    with open(os.path.join('qiutu', name), 'wb') as f:
        f.write(res)
    print(name, '下载完成')


# 通过糗图百科通用页面url,生成十页数据，并将十页数据中的所有图片链接存到urls中
urls = []
url_ = 'https://www.qiushibaike.com/pic/page/{}/'
for i in range(1, 10):
    page_url = url_.format(i)
    ret = requests.get(url=page_url, headers=headers).text
    # 通过xpath定位并获取糗图图片的src
    tree = etree.HTML(ret)
    url_list = tree.xpath('//div[@id="content-left"]/div/div/a/img/@src')
    # 将每个图片的url存到urls中
    for img_url in url_list:
        urls.append(img_url)
        print(img_url)

tasks = []

for url in urls:
    url = 'https:' + url
    # 执行协程对象函数（函数并不会真正去执行，而是生成一个协程对象）
    cor = get_img(url)
    # 将协程对象添加。生成一个任务对象
    # task = asyncio.create_task(cor)       # python3.7新加入
    task = asyncio.ensure_future(cor)
    # 为任务对象绑定添加一个回调函数，传入函数名
    task.add_done_callback(callback)
    # 将所有的任务对象添加到任务列表中
    tasks.append(task)

# 获取当前事件循环对象（没有则创建），asyncio.new_event_loop()是创建事件循环
loop = asyncio.get_event_loop()

# run_until_complete：运行直到 future (可等待任务对象) 被完成。

# 将任务列表加入事件循环，并发开始执行
# 请注意此函数不会引发 asyncio.TimeoutError。当超时发生时，未完成的 Future 或 Task 将在指定秒数后被返回，指定timeout参数。
loop.run_until_complete(asyncio.wait(tasks))

# asyncio.gather:如果所有可等待对象都成功完成，结果将是一个由所有返回值聚合而成的列表。结果值的顺序与 aws 中可等待对象的顺序一致。
# 如果发生超时，任务将取消并引发 asyncio.TimeoutError.
# loop.run_until_complete(asyncio.gather(tasks))

注意！：

　　一个线程内最多大概可以注册500个协程。。任务数过多，需要多线程加异步协程实现。