14.生成器表达式，列表推导式

一、迭代器

1.1什么是可迭代对象？

字符串，列表，元祖，字典，集合 都可以被for循环，说明他们都是可迭代的。

我们怎么来证明这一点呢？

from collections import Iterable
                             
l = [1,2,3,4]                
t = (1,2,3,4)                
d = {1:2,3:4}                
s = {1,2,3,4}                
                             
print(isinstance(l,Iterable))
print(isinstance(t,Iterable))
print(isinstance(d,Iterable))
print(isinstance(s,Iterable))

1.2可迭代协议

我们现在是从结果分析原因，能被for循环的就是"可迭代的"，但是如果正着想，for怎么知道谁是可迭代的呢？

假如我们自己写一个数据类型，希望这个数据类型里的东西也可以使用for被一个一个的取出来，那我们就必须满足for的要求，这个要求就叫做“协议”。

可以被迭代要满足的要求就叫做可迭代协议，可迭代协议的定义非常简单，就是内部实现了__iter__方法。

接下来我们就来验证一下：

print(dir([1,2]))
print(dir((2,3)))
print(dir({1:2}))
print(dir({1,2}))

结果：
['__add__', '__class__', '__contains__', '__delattr__', '__delitem__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__gt__', '__hash__', '__iadd__', '__imul__', '__init__', '__iter__', '__le__', '__len__', '__lt__', '__mul__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__reversed__', '__rmul__', '__setattr__', '__setitem__', '__sizeof__', '__str__', '__subclasshook__', 'append', 'clear', 'copy', 'count', 'extend', 'index', 'insert', 'pop', 'remove', 'reverse', 'sort']
['__add__', '__class__', '__contains__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__getnewargs__', '__gt__', '__hash__', '__init__', '__iter__', '__le__', '__len__', '__lt__', '__mul__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__rmul__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', 'count', 'index']
['__class__', '__contains__', '__delattr__', '__delitem__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__gt__', '__hash__', '__init__', '__iter__', '__le__', '__len__', '__lt__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__setitem__', '__sizeof__', '__str__', '__subclasshook__', 'clear', 'copy', 'fromkeys', 'get', 'items', 'keys', 'pop', 'popitem', 'setdefault', 'update', 'values']
['__and__', '__class__', '__contains__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__iand__', '__init__', '__ior__', '__isub__', '__iter__', '__ixor__', '__le__', '__len__', '__lt__', '__ne__', '__new__', '__or__', '__rand__', '__reduce__', '__reduce_ex__', '__repr__', '__ror__', '__rsub__', '__rxor__', '__setattr__', '__sizeof__', '__str__', '__sub__', '__subclasshook__', '__xor__', 'add', 'clear', 'copy', 'difference', 'difference_update', 'discard', 'intersection', 'intersection_update', 'isdisjoint', 'issubset', 'issuperset', 'pop', 'remove', 'symmetric_difference', 'symmetric_difference_update', 'union', 'update']

验证结果

总结一下我们现在所知道的：可以被for循环的都是可迭代的，要想可迭代，内部必须有一个__iter__方法。

接着分析，__iter__方法做了什么事情呢？

可迭代的：内部必须含有一个__iter__方法。

1.3迭代器

什么叫做迭代器？迭代器英文意思就是iterator.

l = [1,2,3,4]
l_iter = l.__iter__()  # 将可迭代的转化成迭代器
item = l_iter.__next__()
print(item)
item = l_iter.__next__()
print(item)
item = l_iter.__next__()
print(item)
item = l_iter.__next__()
print(item)
item = l_iter.__next__()
print(item)

迭代器遵循迭代器协议：

for循环，能便利一个可迭代对象，他的内部到底进行了什么？

      将可迭代对象转化成迭代器。(可迭代对象.__iter__())

      内部使用__next__方法，一个一个取值。

      加了异常处理功能，取值到低后自动停止。

用while循环模拟for循环：

l = [1,2,3,4]
l_iter = l.__iter__()
while True:
    try:
        item = l_iter.__next__()
        print(item)
    except StopIteration:
        break

1.4为什么要用for循环？

基于上面讲的列表这一堆遍历方式，聪明的你立马看出了端倪，于是你不知死活大声喊道，你这不逗我玩呢么，有了下标的访问方式，我可以这样遍历一个列表啊

l=[1,2,3]

index=0
while index < len(l):
    print(l[index])
    index+=1

#要毛线for循环，要毛线可迭代，要毛线迭代器

没错，序列类型字符串，列表，元祖都有下标，你用上述的方式访问，perfect !但是你可曾想过非序列类型像字典，集合，文件，对象的感受，所以嘛，年轻人，for 循环就是基于迭代器协议提供了一个统一的可以遍历所有对象的方法，既在遍历之前，先调用对象的__iter__方法将其转成一个迭代器，然后使用迭代器协议去实现循环访问，这样所有的对象就否可以通过for循环来遍历了，而且你看到的效果也是如此，这就是无所不能的for循环，最重要的一点，转化成迭代器，在循环时，同一时刻在内存中出现一条数据，极大限度的节省了内存 ~

二、生成器

2.1初始生成器

我们知道的迭代器有两种：一种是调用方法直接返回，一种是可迭代对象通过执行iter方法得到的，迭代器有的好处是可以节省内存。

如果在某些情况下，我们也需要节省内存，就只能自己写。我们自己写的这个能实现迭代器功能的东西叫生成器。

python中提供的生成器：

1、生成器函数：常规函数定义，但是，使用yield语句而不是return语句返回结果。yield语句一次返回一个结果，在每个结果中间，挂起函数的状态，以便下次重它离开的地方继续执行

2、生成器表达式：Generator:

     本质：迭代器(所以自带了__iter__方法和__next__方法，不需要我们去实现)

      特点：惰性运算，开发之自定义

2.2生成器函数

一个包含yield关键字的函数就是一个生成器函数，yield可以为我们从函数中返回值，但是yield又不同return，return的执行意味着程序的结束，调用生成器函数不会得到返回的具体指，而是得到一个可迭代的对象，每一次获取这个可迭代对象的值，就能推动函数的执行，获取新的返回值，知道函数执行结束。

import time
def genrator_fun1():
    a = 1
    print('现在定义了a变量')
    yield a
    b = 2
    print('现在又定义了b变量')
    yield b

g1 = genrator_fun1()
print('g1 : ',g1)       #打印g1可以发现g1就是一个生成器
print('-'*20)   #我是华丽的分割线
print(next(g1))
time.sleep(1)   #sleep一秒看清执行过程
print(next(g1))

初识生成器函数

初始生成器函数

生成器有什么好处呢？就是不会一下子在内存中生成太多数据

加入我想让工厂给学生做校服，生产2000000件衣服，我和工厂一说，工厂应该是先答应下来，然后

再去生产，我可以一件一件的要，也可以根据学生一批一批的找工厂拿。而不能是一说要生产2000000件衣服，工厂就先去做生产2000000件一股，等回来做好了，学生都毕业了。。。

def produce():
    """生产衣服"""
    for i in range(2000000):
        yield "生产了第%s件衣服"%i

product_g = produce()
print(product_g.__next__()) #要一件衣服
print(product_g.__next__()) #再要一件衣服
print(product_g.__next__()) #再要一件衣服
num = 0
for i in product_g:         #要一批衣服，比如5件
    print(i)
    num +=1
    if num == 5:
        break

2.3send

def generator():
    print(123)
    content = yield 1
    print('=======',content)
    print(456)
    yield2

g = generator()
ret = g.__next__()
print('***',ret)
ret = g.send('hello')   #send的效果和next一样
print('***',ret)

#send 获取下一个值的效果和next基本一致
#只是在获取下一个值的时候，给上一yield的位置传递一个数据
#使用send的注意事项
    # 第一次使用生成器的时候 是用next获取下一个值
    # 最后一个yield不能接受外部的值

三、列表推导式和生成器表达式

l = [i for i in range(10)]
print(l)
l1 = ['选项%s'%i for i in range(10)]
print(l1)

1、把列表解析的[]换成()得到的就是生成器表达式

2、列表解析与生成器表达式都是一种便利的编程方式，只不过生成器表达式更节省内存

3、python不但使用迭代器协议，让for循环变得更加通用，大部分内置函数，也是使用迭代器协议访问对象的。例如，sum函数是python的内置函数，该函数使用迭代器协议访问对象，而生成器实现了迭代器协议，所以，我们可以直接这样计算一系列值的和：

sum(x ** 2 for x in range(4))

各种推导式玩法

推导式套路

之前我们已经学习了最简单的列表推导式和生成器表达式，但是除此之外，其实还有字典推导式，集合推导式等等。

下面是一个以列表推导式为例的推导式详细格式，同样适用于其他推导式。

variable = [out_exp_res for out_exp in input_list if out_exp == 2]
  out_exp_res:　　列表生成元素表达式，可以是有返回值的函数。
  for out_exp in input_list：　　迭代input_list将out_exp传入out_exp_res表达式中。
  if out_exp == 2：　　根据条件过滤哪些值可以。

列表推导式

例一：30以内所有能被3整除的数

multiples = [i for i in range(30) if i % 3 is 0]
print(multiples)
# Output: [0, 3, 6, 9, 12, 15, 18, 21, 24, 27]

例二：30以内所有能被3整除的数的平方

def squared(x):
    return x*x
multiples = [squared(i) for i in range(30) if i % 3 is 0]
print(multiples)

例三：找到嵌套列表中名字函数两个"e"的所有名字

names = [['Tom', 'Billy', 'Jefferson', 'Andrew', 'Wesley', 'Steven', 'Joe'],
         ['Alice', 'Jill', 'Ana', 'Wendy', 'Jennifer', 'Sherry', 'Eva']]

print([name for lst in names for name in lst if name.count('e') >= 2]) 
 # 注意遍历顺序，这是实现的关键

字典推导式

例一：将一个字典的key和value对调

mcase = {'a': 10, 'b': 34}
mcase_frequency = {mcase[k]: k for k in mcase}
print(mcase_frequency)

例二：合并大小写对应的value值，将k统一成小写

mcase = {'a': 10, 'b': 34, 'A': 7, 'Z': 3}
mcase_frequency = {k.lower(): mcase.get(k.lower(), 0) + mcase.get(k.upper(), 0) for k in mcase.keys()}
print(mcase_frequency)

集合推导式

例：计算列表中每个值的平方，自带去重功能

squared = {x**2 for x in [1, -1, 2]}
print(squared)
# Output: set([1, 4])

练习题：

例1：过滤掉长度小于3的字符串列表，并将剩下的转换成大写字母

l1=['dsfd','13df','wew','23d','ewqwdcs']
print( [i.upper() for  i in l1 if len(l1) > 3])

例2：求(x,y)其中x是0-5之间的偶数，y是0-5之间的奇数组成的元祖列表

l1= [(x,y)for x in range(5) if x %2==0 for y in range(5) if y %2==1]
print(l1)

例3：求M中3,6,9组成的列表M = [[1,2,3],[4,5,6],[7,8,9]]

M = [[1,2,3],[4,5,6],[7,8,9]]
l1=[]
for i in M:
    l1.append(i[2])
print(l1)

print( [x  for  i in M for x in i if x % 3 ==0])

# 2，用列表推导式做下列小题
# (1)    过滤掉长度小于3的字符串列表，并将剩下的转换成大写字母
# lst=["1asss",'2s','233','3434','3421','324','sdsf']
# print([i.upper() for i in lst if len(i)>3])
# (2)    求(x,y)其中x是0-5之间的偶数，y是0-5之间的奇数组成的元祖列表
# l4=[(x,y)for x in range(5) if x%2==0 for y in range(5)if y %2==1]
# print(l4)
# (3)    求M中3,6,9组成的列表M = [[1,2,3],[4,5,6],[7,8,9]]
# print( [x  for  i in M for x in i if x % 3 ==0])
# (4)    求出50以内能被3整除的数的平方，并放入到一个列表中。
# print([i * 2 for i in range(51) if i % 3 == 0])
# (5)    构建一个列表：['python1期', 'python2期', 'python3期', 'python4期', 'python6期', 'python7期', 'python8期', 'python9期', 'python10期']
# l1 = ['python%s期' % i for i in range(1, 11) if i != 5]
# print(l1)
# (6)    构建一个列表：[(0, 1), (1, 2), (2, 3), (3, 4), (4, 5), (5, 6)]
# print( [(i,i+1) for i in range(0,6)])
# (7)    构建一个列表：[0, 2, 4, 6, 8, 10, 12, 14, 16, 18]
# l2 = [i for i in range(0, 19, 2)]
# l3 = [i for i in range(0, 19) if i % 2 == 0]
# print(l2)
# print(l3)
# (8)    有一个列表l1 = ['alex', 'WuSir', '老男孩', '太白']将其构造成这种列表['alex0', 'WuSir1', '老男孩2', '太白3']
# l1 = ['alex', 'WuSir', '老男孩', '太白']
# print([i+"%s" %  l1.index(i) for i in l1 ])

# (9)有以下数据类型：
# x = {
#     'name':'alex',
#     'Values':[{'timestamp':1517991992.94,
#          'values':100,},
#         {'timestamp': 1517992000.94,
#         'values': 200,},
#         {'timestamp': 1517992014.94,
#          'values': 300,},
#         {'timestamp': 1517992744.94,
#          'values': 350},
#         {'timestamp': 1517992800.94,
#          'values': 280}
#         ],}
# 将上面的数据通过列表推导式转换成下面的类型：[[1517991992.94, 100], [1517992000.94, 200], [1517992014.94, 300], [1517992744.94, 350], [1517992800.94, 280]]
print([[i['timestamp'], i['values']] for i in x['Values']])
# for i in x['Values']:
#     print(i['timestamp'], i['values'])