1.引子
并发编程必须掌握的知识点 , 也是自己写小项目实现并发的技术
先回顾之前TCP服务端实现并发的效果是怎么玩的
每来一个人就开设一个进程或者线程去处理
"""
无论是开设进程也好还是开设线程也好是不是都需要消耗资源
只不过开设线程的消耗比开设进程的稍微小一点而已
我们是不可能做到无限制的开设进程和线程的因为计算机硬件的资源更不上!!
硬件的开发速度远远赶不上软件呐
我们的宗旨应该是在保证计算机硬件能够正常工作的情况下最大限度的利用它
"""
2.什么是池
池是用来保证计算机硬件安全的情况下最大限度的利用计算机
它降低了程序的运行效率但是保证了计算机硬件的安全 从而让你写的程序能够正常运行
注意 : 半连接池也是这样的 , 为什么要有池? , 计算机资源有限 , 老子要是可以一直开进程/线程 , 搞毛线的池
3.concurrent.futures模块
高阶模块 : concurrent.futures , 之前讲的 multiprocessing threading 也是高阶模块 , 先介绍一下concurrent.futures
#1 介绍
concurrent.futures模块提供了高度封装的异步调用接口
ThreadPoolExecutor：线程池，提供异步调用
ProcessPoolExecutor: 进程池，提供异步调用
Both implement the same interface, which is defined by the abstract Executor class.
#2 基本方法
#submit(fn, *args, **kwargs)
异步提交任务
#map(func, *iterables, timeout=None, chunksize=1)
取代for循环submit的操作
#shutdown(wait=True)
相当于进程池的pool.close()+pool.join()操作
wait=True，等待池内所有任务执行完毕回收完资源后才继续
wait=False，立即返回，并不会等待池内的任务执行完毕
但不管wait参数为何值，整个程序都会等到所有任务执行完毕
submit和map必须在shutdown之前
#result(timeout=None)
取得结果
#add_done_callback(fn)
回调函数
4.进程池
from concurrent.futures import ProcessPoolExecutor
import time
def task(n):
print(n)
time.sleep(2)
return n ** n
"""
任务的提交方式
同步:提交任务之后原地等待任务的返回结果期间不做任何事
异步:提交任务之后不等待任务的返回结果执行继续往下执行
"""
#
# pool.submit(task, 1) # 向池子里提交任务
# print('主')
if __name__ == '__main__':
pool = ProcessPoolExecutor(5) # 池子里固定只有5个进程
# 括号内可以传数字不传的话默认会开设当前计算机cpU个数五倍的线
l = []
for i in range(20): # 向池子里提交20个任务
obj = pool.submit(task, i) # <Future at 0x267a7d066a0 state=pending>
# print(obj)
# print(obj.result()) # result()方法 同步提交
l.append(obj)
# 我想等待进程池中所有的任务执行完毕后再继续往下执行
pool.shutdown() # 关闭进程池等待进程池中所有的任务运行完料 , 类似join()方法
for j in l:
print('>>>%s' % j.result())
"""
程序有并发变成了串行
任务的为什么打印的是None
res, result()拿到的就是异步提交的任务的返回结果
"""
5.线程池
from concurrent.futures import ThreadPoolExecutor
import time
pool = ThreadPoolExecutor(5) # 池子里固定只有5个线程
"""
池子造出来之后里面会固定存在五个线程
这个五个线程不会出现重复创建和销毁的过程 避免了重复创建线程的开销
池子的使用非常的简单
你只需要将需要做的任务往池子中提交即可自动会有人来服务你
"""
# 括号内可以传数字不传的话默认会开设当前计算机cpU个数五倍的线
def task(n):
print(n)
time.sleep(2)
return n ** n
"""
任务的提交方式
同步:提交任务之后原地等待任务的返回结果期间不做任何事
异步:提交任务之后不等待任务的返回结果执行继续往下执行
返回结果如何获取???
异步提交任务的返回结果应该通过回调机制来获取
回调机制
就相当于给每个异步任务绑定了一个定时炸弹
一旦该任务有结果立刻触发爆炸
"""
#
# pool.submit(task, 1) # 向池子里提交任务
# print('主')
l = []
for i in range(20): # 向池子里提交20个任务
obj = pool.submit(task, i) # <Future at 0x267a7d066a0 state=pending>
# print(obj)
# print(obj.result()) # result()方法 同步提交
l.append(obj)
# 我想等待线程池中所有的任务执行完毕后再继续往下执行
pool.shutdown() # 关闭线程池等待线程池中所有的任务运行完料 , 类似join()方法
for j in l:
print('>>>%s' % j.result())
"""
程序有并发变成了串行
任务的为什么打印的是None
res, result()拿到的就是异步提交的任务的返回结果
"""
5.回调函数
from concurrent.futures import ThreadPoolExecutor
import time
pool = ThreadPoolExecutor(5) # 池子里固定只有5个线程
def task(n):
print(n)
time.sleep(2)
return n ** n
def call_back(n):
print('>>>%s' % n.result()) # n就是Future对象
for i in range(20): # 向池子里提交20个任务
pool.submit(task, i).add_done_callback(call_back) # 每个Future对象绑定一个回调函数
"""
pool.submit(task, i)方法返回一个Future对象 , Future对象调用add_done_callback方法, 参数是回调函数
回调函数的参数是 Future对象 , 当任务结束对自动触发回调函数
"""
6.map函数
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
import os,time,random
def task(n):
print('%s is runing' %os.getpid())
time.sleep(random.randint(1,3))
return n**2
if __name__ == '__main__':
executor=ThreadPoolExecutor(max_workers=3)
# for i in range(10): # 提交10个任务
# future=executor.submit(task,i)
executor.map(task,range(0,10)) #map取代了for+submit