• 聊聊Python中的生成器和迭代器


    Python中有两个重要的概念,生成器和迭代器,这里详细记录一下。

    1. 生成器

    什么是生成器呢?

    通过列表生成式,我们可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了。所以,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,从而节省大量的空间。在Python中,这种一边循环一边计算的机制,称为生成器:generator。

    创建生成器一共有两种方式:

    第一种方式

    只要把一个列表生成式的 [ ] 改成 ( )

    In [15]: L = [ x*2 for x in range(5)]
    
    In [16]: L
    Out[16]: [0, 2, 4, 6, 8]
    
    In [17]: G = ( x*2 for x in range(5))
    
    In [18]: G
    Out[18]: <generator object <genexpr> at 0x7f626c132db0>

    创建 L 和 G 的区别仅在于最外层的 [ ] 和 ( ) , L 是一个列表,而 G 是一个生成器。我们可以直接打印出L的每一个元素,但我们怎么打印出G的每一个元素呢?如果要一个一个打印出来,可以通过 next() 函数获得生成器的下一个返回值:

    In [19]: next(G)
    Out[19]: 0
    
    In [20]: next(G)
    Out[20]: 2
    
    In [21]: next(G)
    Out[21]: 4
    
    In [22]: next(G)
    Out[22]: 6
    
    In [23]: next(G)
    Out[23]: 8
    
    In [24]: next(G)
    ---------------------------------------------------------------------------
    StopIteration                             Traceback (most recent call last)
    <ipython-input-24-380e167d6934> in <module>()
    ----> 1 next(G)
    
    StopIteration: 
    
    In [25]:
    In [26]: G = ( x*2 for x in range(5))
    
    In [27]: for x in G:
       ....:     print(x)
       ....:     
    0
    2
    4
    6
    8
    
    In [28]:

    生成器保存的是算法,每次调用 next(G) ,就计算出 G 的下一个元素的值,直到计算到最后一个元素,没有更多的元素时,抛出 StopIteration 的异常。当然,这种不断调用 next() 实在是太变态了,正确的方法是使用 for 循环,因为生成器也是可迭代对象。所以,我们创建了一个生成器后,基本上永远不会调用 next() ,而是通过 for 循环来迭代它,并且不需要关心 StopIteration 异常。

    第二种方式

    generator非常强大。如果推算的算法比较复杂,用类似列表生成式的 for 循环无法实现的时候,还可以用函数来实现。

    比如,著名的斐波拉契数列(Fibonacci),除第一个和第二个数外,任意一个数都可由前两个数相加得到:

    1, 1, 2, 3, 5, 8, 13, 21, 34, ...

    斐波拉契数列用列表生成式写不出来,但是,用函数把它打印出来却很容易:

    In [28]: def fib(times):
       ....:     n = 0
       ....:     a,b = 0,1
       ....:     while n<times:
       ....:         print(b)
       ....:         a,b = b,a+b
       ....:         n+=1
       ....:     return 'done'
       ....: 
    
    In [29]: fib(5)
    1
    1
    2
    3
    5
    Out[29]: 'done'

    仔细观察,可以看出,fib函数实际上是定义了斐波拉契数列的推算规则,可以从第一个元素开始,推算出后续任意的元素,这种逻辑其实非常类似generator。

    也就是说,上面的函数和generator仅一步之遥。要把fib函数变成generator,只需要把print(b)改为yield b就可以了:

    In [30]: def fib(times):
       ....:     n = 0
       ....:     a,b = 0,1
       ....:     while n<times:
       ....:         yield b
       ....:         a,b = b,a+b
       ....:         n+=1
       ....:     return 'done'
       ....: 
    
    In [31]: F = fib(5)
    
    In [32]: next(F)
    Out[32]: 1
    
    In [33]: next(F)
    Out[33]: 1
    
    In [34]: next(F)
    Out[34]: 2
    
    In [35]: next(F)
    Out[35]: 3
    
    In [36]: next(F)
    Out[36]: 5
    
    In [37]: next(F)
    ---------------------------------------------------------------------------
    StopIteration                             Traceback (most recent call last)
    <ipython-input-37-8c2b02b4361a> in <module>()
    ----> 1 next(F)
    
    StopIteration: done

    在上面fib 的例子,我们在循环过程中不断调用 yield ,就会不断中断。当然要给循环设置一个条件来退出循环,不然就会产生一个无限数列出来。同样的,把函数改成generator后,我们基本上从来不会用 next() 来获取下一个返回值,而是直接使用 for 循环来迭代:

    In [38]: for n in fib(5):
       ....:     print(n)
       ....:     
    1
    1
    2
    3
    5
    
    In [39]:

    但是用for循环调用generator时,发现拿不到generator的return语句的返回值。如果想要拿到返回值,必须捕获StopIteration错误,返回值包含在StopIteration的value中:

    In [39]: g = fib(5)
    
    In [40]: while True:
       ....:     try:
       ....:         x = next(g)
       ....:         print("value:%d"%x)      
       ....:     except StopIteration as e:
       ....:         print("生成器返回值:%s"%e.value)
       ....:         break
       ....:     
    value:1
    value:1
    value:2
    value:3
    value:5
    生成器返回值:done
    
    In [41]:

    这里有一个非常重要的东西,send()

    In [10]: def gen():
       ....:     i = 0
       ....:     while i<5:
       ....:         temp = yield i
       ....:         print(temp)
       ....:         i+=1
       ....:

    执行到yield时,gen函数作用暂时保存,返回i的值;

    temp接收下次c.send("python"),send发送过来的值;

    c.next()等价c.send(None)(所以如果第一次想用send的话,可以写成c.send(None));

    使用next函数

    In [11]: f = gen()
    
    In [12]: next(f)
    Out[12]: 0
    
    In [13]: next(f)
    None
    Out[13]: 1
    
    In [14]: next(f)
    None
    Out[14]: 2
    
    In [15]: next(f)
    None
    Out[15]: 3
    
    In [16]: next(f)
    None
    Out[16]: 4
    
    In [17]: next(f)
    None
    ---------------------------------------------------------------------------
    StopIteration                             Traceback (most recent call last)
    <ipython-input-17-468f0afdf1b9> in <module>()
    ----> 1 next(f)
    
    StopIteration:

    使用__next__()方法

    In [18]: f = gen()
    
    In [19]: f.__next__()
    Out[19]: 0
    
    In [20]: f.__next__()
    None
    Out[20]: 1
    
    In [21]: f.__next__()
    None
    Out[21]: 2
    
    In [22]: f.__next__()
    None
    Out[22]: 3
    
    In [23]: f.__next__()
    None
    Out[23]: 4
    
    In [24]: f.__next__()
    None
    ---------------------------------------------------------------------------
    StopIteration                             Traceback (most recent call last)
    <ipython-input-24-39ec527346a9> in <module>()
    ----> 1 f.__next__()
    
    StopIteration:

    next函数和__next__()等价。

    使用send

    In [43]: f = gen()
    
    In [44]: f.__next__() #第一次这里可以写成send(None),send其他报错
    Out[44]: 0
    
    In [45]: f.send('haha')
    haha
    Out[45]: 1
    
    In [46]: f.__next__()
    None
    Out[46]: 2
    
    In [47]: f.send('haha')
    haha
    Out[47]: 3
    
    In [48]:

    同样我们可以实现一个多任务循环打印的示例:

    def a():
        while True:
            print('--1--')
            yield None
    
    def b():
        while True:
            print('--2--')
            yield None
    
    # 生成器
    t1 = a()
    t2 = b()
    while True:
        t1.__next__()
        t2.__next__()

    运行结果:

    循环打印下去。

    总结

    生成器是这样一个函数,它记住上一次返回时在函数体中的位置。对生成器函数的第二次(或第 n 次)调用跳转至该函数中间,而上次调用的所有局部变量都保持不变。

    生成器不仅“记住”了它数据状态;生成器还“记住”了它在流控制构造(在命令式编程中,这种构造不只是数据值)中的位置。

    生成器的特点:

    1. 节约内存
    2. 迭代到下一次的调用时,所使用的参数都是第一次所保留下的,即是说,在整个所有函数调用的参数都是第一次所调用时保留的,而不是新创建的

    2. 迭代器

    迭代是访问集合元素的一种方式。迭代器是一个可以记住遍历的位置的对象。迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束。迭代器只能往前不会后退。

    可迭代对象

    以直接作用于 for 循环的数据类型有以下几种:

    一类是集合数据类型,如 list 、 tuple 、 dict 、 set 、 str 等;

    一类是 generator ,包括生成器和带 yield 的generator function。

    这些可以直接作用于 for 循环的对象统称为可迭代对象: Iterable 。

    判断是否可以迭代

    可以使用 isinstance() 判断一个对象是否是 Iterable 对象:

    In [50]: from collections import Iterable
    
    In [51]: isinstance([], Iterable)
    Out[51]: True
    
    In [52]: isinstance({}, Iterable)
    Out[52]: True
    
    In [53]: isinstance('abc', Iterable)
    Out[53]: True
    
    In [54]: isinstance((x for x in range(10)), Iterable)
    Out[54]: True
    
    In [55]: isinstance(100, Iterable)
    Out[55]: False

    而生成器不但可以作用于 for 循环,还可以被 next() 函数不断调用并返回下一个值,直到最后抛出 StopIteration 错误表示无法继续返回下一个值了。

    迭代器

    可以被next()函数调用并不断返回下一个值的对象称为迭代器:Iterator。

    可以使用 isinstance() 判断一个对象是否是 Iterator 对象:

    In [56]: from collections import Iterator
    
    In [57]: isinstance((x for x in range(10)), Iterator)
    Out[57]: True
    
    In [58]: isinstance([], Iterator)
    Out[58]: False
    
    In [59]: isinstance({}, Iterator)
    Out[59]: False
    
    In [60]: isinstance('abc', Iterator)
    Out[60]: False
    
    In [61]: isinstance(100, Iterator)
    Out[61]: False

    iter()函数

    生成器都是 Iterator 对象,但 list 、 dict 、 str 虽然是 Iterable ,却不是 Iterator 。

    把 list 、 dict 、 str 等 Iterable 变成 Iterator 可以使用 iter() 函数:

    In [62]: isinstance(iter([]), Iterator)
    Out[62]: True
    
    In [63]: isinstance(iter('abc'), Iterator)
    Out[63]: True

    总结

    凡是可作用于 for 循环的对象都是 Iterable 类型。

    凡是可作用于 next() 函数的对象都是 Iterator 类型。

    集合数据类型如 list 、 dict 、 str 等是 Iterable 但不是 Iterator ,不过可以通过 iter() 函数获得一个 Iterator 对象。

  • 相关阅读:
    hexo在git上搭建个人博客
    C++中的const
    C++ 面试 (1) 指针
    struct 大小计算
    php多路复用(多线程)socket相关应用
    centos6.5 redis应用环境搭建
    WebSocket的Cookie问题(转)
    java 获取参数泛型类型
    php编写TCP服务端和客户端程序
    phpize的作用(资料整理)
  • 原文地址:https://www.cnblogs.com/DarrenChan/p/10345602.html
Copyright © 2020-2023  润新知