• Python学习【第19篇】:利用multiprocessing模块开进程


    一、multiprocessing模块介绍

     python中的多线程无法利用CPU资源,在python中大部分情况使用多进程。python中提供了非常好的多进程包multiprocessing。

    multiprocessing模块用来开启子进程,并在子进程中执行功能(函数),该模块与多线程模块threading的编程接口类似。

    multiprocessing的功能众多:支持子进程、通信和共享数据、执行不同形式的同步,提供了Process、Queue、Pipe、Lock等组件。

    二、Process类的介绍

    1.创建进程的类

    Process([group [, target [, name [, args [, kwargs]]]]]),由该类实例化得到的对象,表示一个子进程中的任务(尚未启动)
    
    强调:
    1. 需要使用关键字的方式来指定参数
    2. args指定的为传给target函数的位置参数,是一个元组形式,必须有逗号

    2.参数介绍

    复制代码
    1 group参数未使用,值始终为None
    2 
    3 target表示调用对象,即子进程要执行的任务
    4 
    5 args表示调用对象的位置参数元组,args=(1,2,'egon',)
    6 
    7 kwargs表示调用对象的字典,kwargs={'name':'egon','age':18}
    8 
    9 name为子进程的名称
    复制代码

    3.方法介绍

    复制代码
    1 p.start():启动进程,并调用该子进程中的p.run() 
    2 p.run():进程启动时运行的方法,正是它去调用target指定的函数,我们自定义类的类中一定要实现该方法  
    3 
    4 p.terminate():强制终止进程p,不会进行任何清理操作,如果p创建了子进程,该子进程就成了僵尸进程,使用该方法需要特别小心这种情况。
    如果p还保存了一个锁那么也将不会被释放,进而导致死锁 5 p.is_alive():如果p仍然运行,返回True 6 7 p.join([timeout]):主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可选的超时时间,
    需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程
    复制代码

    4.属性介绍

    复制代码
    p.daemon:默认值为False,如果设为True,代表p为后台运行的守护进程,当p的父进程终止时,p也随之终止,并且设定为True后,p不能创建自己的新进程,必须在p.start()之前设置
    
    p.name:进程的名称
    
    p.pid:进程的pid
    
    p.exitcode:进程在运行时为None、如果为–N,表示被信号N结束(了解即可)
    
    p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性,这类连接只有在具有相同的身份验证键时才能成功(了解即可)
    复制代码

    三、Process类的使用

    一定要把开进程的代码写在if __name__=='__main__':下面

    开一个进程和主进程是并发的关系,我start一下就是先告诉操作系统我要开一个进程
    ,然而它不会等待,他会去执行下面的代码,完了他吧进程开始后,就开始执行了

    strat():方法的功能

      1.开启进程
      2.执行功能

    四、开启进程的两种方式

    复制代码
     1 from multiprocessing import Process
     2 import time
     3 import random
     4 def piao(name):
     5     print('%s is piaoing'%name)
     6     time.sleep(random.randint(1,3))
     7     print('%s is piao end'%name)
     8 if __name__ =='__main__':
     9     p1 = Process(target=piao,kwargs={'name':'alex'})
    10     p2 = Process(target=piao,kwargs={'name':'alex'})
    11     p3 = Process(target=piao,kwargs={'name':'alex'})
    12     p1.start()
    13     p2.start()
    14     p3.start()
    15     print('主进程')
    复制代码
    复制代码
     1 from multiprocessing import Process
     2 import time
     3 import random
     4 import os
     5 class Piao(Process):
     6     def __init__(self,name):
     7         super().__init__() #必须继承父类的一些属性
     8         self.name = name
     9     def run(self):  #必须得实现一个run方法
    10         print(os.getppid(),os.getpid())
    11         print('%s is piaoing'%self.name)
    12         time.sleep(random.randint(1,3))
    13         print('%s is piao end'%self.name)
    14 if __name__ =='__main__':
    15     p1 = Piao('alex')
    16     p2 = Piao('wupeiqi')
    17     p3 = Piao('yuanhao')
    18     p1.start()
    19     p2.start()
    20     p3.start()
    21     print('主进程',os.getpid())
    复制代码
     

    getppid()父进程id
    getpid() #当前进程id

    五、多进程实现套接字并发

    复制代码
     1 from socket import *
     2 from multiprocessing import Process
     3 s = socket(AF_INET,SOCK_STREAM)
     4 s.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
     5 s.bind(('127.0.0.1',8081))
     6 s.listen(5)
     7 print('start running...')
     8 def talk(coon,addr):
     9     while True:
    10         try:
    11             data = coon.recv(1024)
    12             if not data: break
    13             coon.send(data.upper())
    14         except Exception:
    15             break
    16     coon.close()
    17 
    18 if __name__ == '__main__':
    19     while True:
    20         coon,addr = s.accept()
    21         print(coon,addr)
    22         p =Process(target=talk,args=(coon,addr))
    23         p.start()
    24     s.close()
    复制代码
    复制代码
     1 from socket import *
     2 c = socket(AF_INET,SOCK_STREAM)
     3 c.connect(('127.0.0.1',8081))
     4 while True:
     5     cmd = input('>>:').strip()
     6     if not cmd:continue
     7     c.send(cmd.encode('utf-8'))
     8     data = c.recv(1024)
     9     print(data.decode('utf-8'))
    10 c.close()
    复制代码
  • 相关阅读:
    HDU----(4291)A Short problem(快速矩阵幂)
    HDU----(2157)How many ways??(快速矩阵幂)
    hdu---(2604)Queuing(矩阵快速幂)
    hdu---(5038)Grade(胡搞)
    齐次方程到矩阵(番外篇)
    uva--1339
    hdu----(5023)A Corrupt Mayor's Performance Art(线段树区间更新以及区间查询)
    hdu----(2848)Repository(trie树变形)
    hdu---(1800)Flying to the Mars(trie树)
    hdu----(1075)What Are You Talking About(trie之查找)
  • 原文地址:https://www.cnblogs.com/kcwxx/p/10145328.html
Copyright © 2020-2023  润新知