• 进程总结


    一、multiprocessing模块介绍

    • python中的多线程无法利用cpu资源,在python中大部分情况使用多进程。python中提供了很好的多进程包multiprocessing。
    • multiprocessing模块用来开启子进程,并在子进程中执行功能(函数),该模块与多进程模块的threading的编程接口类似。
    • multiprocessing的功能众多:支持子进程、通信和共享数据、执行不同形式的同步,提供了Process、Queue、Pipe、Lock等组件。

    二、Process类的介绍

    1.创建进程的类

    Process([group[,target[,name[,args[,kwargs]]]]]),由该类实例化得到的对象,表示一个子进程中的任务
    强调
    1.需要使用关键字的方式来指定参数
    2.args指定的为传给target函数的位置参数,是一个元组的形式,必须有逗号
    

    2.参数介绍

    1.target表示调用对象,即子进程要执行的任务
    2.args表示调用对象的位置参数,args=(1,2,'egon')
    3.kwargs表示调用对象的字典,kwargs={‘name’:'egon','age',18}
    4.name为子进程的名字
    5.group参数未使用
    

    3.方法介绍

    1.p.start(): 启动进程,并调用子进程的p.run()
    2.p.run(): 进程启动时运行的方法,正是它去调用target指定的函数
    3.p.terminate(): 强制终止进程p,不会进行任何清理操作,如果p创建了子进程,该子进程就成了僵尸进程,使用该方法需要特别小心这种情况。
    4.p.is_alive():如果p仍然运行,返回True
    5.p.join([Timeout]) :  主线程等待p终止 (强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可选的超时时间。
    需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程
    

    4. 属性介绍

    p.daemon: 默认值为False,如果设为True,代表p为后台运行的守护进程,当p的父进程终止时,p也随之终止,并且设定为True后,p不能创建自己的新进程,必须在p.start()之前设置
    p.name: 进程的名称
    p.pid: 进程的pid
    

    三、Process类的使用

    一定要把开进程的代码写在if name=='main':下面

    四、数据共享及进程池和回调函数

    1、数据共享

    • 进程间的通信应该避免共享数据的方式
    • 进程间的数据是独立的,可以借助队列或管道实现通信,两者都是基于消息传递的
      虽然进程间独立,但是可以用Manager实现数据共享
    • (IPC)进程之间的通信有两种实现方式:管道和队列

    2、进程池

    在利用python进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间。多进程是实现并发的手段之一。需要注意的问题是:
    1、很明显需要并发执行的任务通常要远大于核数
    2、一个操作系统不可能无限开启进程,通常有几个核就开几个进程
    3、进程开启过多,效率反而会下降(开启进程是需要占用系统资源的,而且开启多余核数目的进程也无法做到并行)

    例如当被操作对象数目不大时,可以直接利用multiprocessing中的Process动态生成多个进程,十几个还好,但如果是上百个,上千个。。。手动的去限制进程数量却又太过繁琐,此时可以发挥进程池的功效。

    那么什么是进程池?进程池就是控制进程数目

    对于远程过程调用的高级应用程序而言,应该使用进程池,Pool可以提供指定数量的进程,供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到规定最大值,那么该请求就会等待,直到池中有进程结束,就重用进程池中的进程。

    进程池的结构:
    创建进程池的类:如果指定numprocess为3,则进程池会从无到有创建三个进程,然后自始至终使用这三个进程去执行所有任务,不会开启其他进程。

    1、创建进程池
    Pool([numprocess [,initializer [, initargs]]]):创建进程池
    2.参数介绍
    numprocess:要创建的进程数,如果省略,将默认为cpu_count()的值,可os.cpu_count()查看
    initializer:是每个工作进程启动时要执行的可调用对象,默认为None
    initargs:是要传给initializer的参数组

    3、方法介绍

  • 相关阅读:
    工具类-vim在shell中卡死的情况
    tomcat日志分类
    逻辑运算
    牛客练习赛29 F 算式子
    牛客练习赛29 B
    查询
    hdu 5984
    zoj 4057
    zoj 4056
    zoj 4054
  • 原文地址:https://www.cnblogs.com/lzf23/p/11611393.html
Copyright © 2020-2023  润新知