• python全栈开发基础【第二十篇】利用multiprocessing模块开进程


    一、multiprocessing模块介绍

     python中的多线程无法利用CPU资源(主要指计算密集型任务),在python中大部分情况使用多进程。python中提供了非常好的多进程包multiprocessing。

    multiprocessing模块用来开启子进程,并在子进程中执行功能(函数),该模块与多线程模块threading的编程接口类似。

    multiprocessing的功能众多:支持子进程、通信和共享数据、执行不同形式的同步,提供了Process、Queue、Pipe、Lock等组件。

    二、Process类的介绍

    1.创建进程的类

    Process([group [, target [, name [, args [, kwargs]]]]]),由该类实例化得到的对象,表示一个子进程中的任务(尚未启动)
    
    强调:
    1. 需要使用关键字的方式来指定参数
    2. args指定的为传给target函数的位置参数,是一个元组形式,必须有逗号

    2.参数介绍

    group参数未使用,值始终为None
    
    target表示调用对象,即子进程要执行的任务
    
    args表示调用对象的位置参数元组,args=(1,2,'egon',)
    
    kwargs表示调用对象的字典,kwargs={'name':'egon','age':18}
    
    name为子进程的名称

    3.方法介绍

    p.start():启动进程,并调用该子进程中的p.run() 
    p.run():进程启动时运行的方法,正是它去调用target指定的函数,我们自定义类的类中一定要实现该方法  
    
    p.terminate():强制终止进程p,不会进行任何清理操作,如果p创建了子进程,该子进程就成了僵尸进程,使用该方法需要特别小心这种情况。
    如果p还保存了一个锁那么也将不会被释放,进而导致死锁
    p.is_alive():如果p仍然运行,返回True
    
    p.join([timeout]):主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可选的超时时间,
    需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程
    

    4.属性介绍

    p.daemon:默认值为False,如果设为True,代表p为后台运行的守护进程,当p的父进程终止时,p也随之终止,并且设定为True后,p不能创建自己的新进程,必须在p.start()之前设置
    
    p.name:进程的名称
    
    p.pid:进程的pid
    
    p.exitcode:进程在运行时为None、如果为–N,表示被信号N结束(了解即可)
    
    p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性,这类连接只有在具有相同的身份验证键时才能成功(了解即可)

    三、Process类的使用

    一定要把开进程的代码写在if __name__=='__main__':下面

    开一个进程和主进程是并发的关系,我start一下就是先告诉操作系统我要开一个进程
    ,然而它不会等待,他会去执行下面的代码,完了他吧进程开始后,就开始执行了

    strat():方法的功能

      1.开启进程
      2.执行功能

    四、开启进程的两种方式

    #第一种方式
    from multiprocessing import Process
    import time
    import random
    def piao(name):
        print('%s is piaoing'%name)
        time.sleep(random.randint(1,3))
        print('%s is piao end'%name)
    if __name__ =='__main__':
        p1 = Process(target=piao,kwargs={'name':'alex'})
        p2 = Process(target=piao,kwargs={'name':'alex'})
        p3 = Process(target=piao,kwargs={'name':'alex'})
        p1.start()
        p2.start()
        p3.start()
        print('主进程')
    
    #第二种方式
    from multiprocessing import Process
    import time
    import random
    import os
    class Piao(Process):
        def __init__(self,name):
            super().__init__() #必须继承父类的一些属性
            self.name = name
        def run(self):  #必须得实现一个run方法
            print(os.getppid(),os.getpid())
            print('%s is piaoing'%self.name)
            time.sleep(random.randint(1,3))
            print('%s is piao end'%self.name)
    if __name__ =='__main__':
        p1 = Piao('alex')
        p2 = Piao('wupeiqi')
        p3 = Piao('yuanhao')
        p1.start()
        p2.start()
        p3.start()
        print('主进程',os.getpid())
    

    getppid()父进程id
    getpid() #当前进程id

    五、多进程实现套接字并发

    #服务端
    from socket import *
    from multiprocessing import Process
    s = socket(AF_INET,SOCK_STREAM)
    s.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
    s.bind(('127.0.0.1',8081))
    s.listen(5)
    print('start running...')
    def talk(coon,addr):
        while True:
            try:
                data = coon.recv(1024)
                if not data: break
                coon.send(data.upper())
            except Exception:
                break
        coon.close()
    
    if __name__ == '__main__':
        while True:
            coon,addr = s.accept()
            print(coon,addr)
            p =Process(target=talk,args=(coon,addr))
            p.start()
        s.close()
    
    #客户端
    from socket import *
    c = socket(AF_INET,SOCK_STREAM)
    c.connect(('127.0.0.1',8081))
    while True:
        cmd = input('>>:').strip()
        if not cmd:continue
        c.send(cmd.encode('utf-8'))
        data = c.recv(1024)
        print(data.decode('utf-8'))
    c.close()
    

      

  • 相关阅读:
    数据库分库分表(sharding)系列(五) 一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案
    数据库分库分表(sharding)系列(三) 关于使用框架还是自主开发以及sharding实现层面的考量
    docker的入门简介
    nginx方向代理详解及配置
    nginx配置文件详解
    nginx安装
    iptables防火墙
    服务器加载过程
    服务器
    操作系统
  • 原文地址:https://www.cnblogs.com/xiaohema/p/8454163.html
Copyright © 2020-2023  润新知