Python协程理解——基于爬虫举例

当前代码在工作当中没有太大的含义，但是对于大家理解协程的基础概念是相当有好处的
协程最直接的可以理解为程序当中一个没有返回的功能块儿
我们之前有学过多线程，所谓的多线程不论是异步并发，还是并发强调的时候将功能放到不同的线程上分别运行的过程
但是协程不是这样的，协程强调的是在同一个线程上进行运行，这样免去了线程生产、消费、抛弃的损耗
站在生产消费者模式来看
多线程主张的是
    生产者生产
    生产的内容放入缓存
    然后取出使用

协程的主张是
    生产者生产
    然后生产函数终止
    然后消费函数启动
    消费完成接着生产

闲话不多说，上代码。

#coding:utf-8
import requests
from time import sleep
from lxml import etree

def setUp(fun):
    """
    启动生成器
    :param fun: 生成器函数
    """
    def inner(**kwargs):
        k = fun(**kwargs)  #调用生成器
        next(k) #执行一次，效果类似初始化
        return k
    return inner

@setUp
def getSrc():
    """
        根据内容获取链接
    """
    a = 1
    while True:
        content = yield a
        html = etree.HTML(content)
        imglist = html.xpath('//div[@id="content-left"]//img')
        for img in imglist:
            src = "http"+img.attrib.get("src")
            print(src)
@setUp
def getData():
    """
    根据地址获取内容
    :return:
    """
    while True:
        url = "https://www.qiushibaike.com/pic/page/%s/?s=5144861"
        page = yield url
        if page == 1:
            Referer = "https://www.qiushibaike.com"
            url = "https://www.qiushibaike.com/pic/"
        else:
            Referer = url%page
            url = url % page
        print(url)
        headers = {
            "Referer": Referer,
            "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36",
        }
        request_data = requests.get(url = url,headers = headers)
        content = request_data.content
        img = getSrc()
        img.send(content)
        sleep(1)

def getPage():
    """
    启动，获取所有的页码
    """
    d = getData()
    page = 0
    while page < 35:
        page += 1
        d.send(page)

if __name__ == "__main__":
    getPage()