• Python之进程


    简单介绍

    在搭建macaca并行测试的同时使用了Python多进程的方法,目的是想多台设备同时进行测试,如果等待一台设备单独跑完再进行下一个设备,想像一下有二十台设备的情况,跑完测试脚本那得需要很长时间呀?使用多进程方法确实方便很多,但是在使用过程中也发现了问题。我是使用三个模拟器和一台真机测试的,三个模拟器都跑完了,真机还没有开始,时间差距还是有的,可能是因为电脑的CPU核数不够吧。

    实际操作

    由于Python是跨平台的,自然也应该提供一个跨平台的多进程支持。multiprocessing模块就是跨平台版本的多进程模块。

    一、Process

    multiprocessing模块提供了一个Process类来代表一个进程对象,下面的例子演示了启动一个子进程并等待其结束:

    代码如下:

    from multiprocessing import Process

    import os

    # 子进程要执行的代码

    def run_proc(name):

        print('Run child process %s (%s)...' % (name, os.getpid()))

    if __name__=='__main__':

        print('Parent process %s.' % os.getpid())

        p = Process(target=run_proc, args=('test',))

        print('Child process will start.')

        p.start()

        p.join()

        print('Child process end.')

    结果如下:

    Parent process 928.

    Process will start.

    Run child process test (929)...

    Process end.

    这里需要注意的是使用start()启动进程,join()方法可以等待子进程结束后再继续往下运行,通常用于进程间的同步。

    二、Pool

    我在构建macaca多进程的时候使用的是Pool方法,如果要启动大量的子进程,可以用进程池的方式批量创建子进程:

    代码如下:

    from multiprocessing import Pool

    import os, time, random

    def long_time_task(name):

        print('Run task %s (%s)...' % (name, os.getpid()))

        start = time.time()

        time.sleep(random.random() * 3)

        end = time.time()

        print('Task %s runs %0.2f seconds.' % (name, (end - start)))

    if __name__=='__main__':

        print('Parent process %s.' % os.getpid())

        p = Pool(4)

        for i in range(5):

            p.apply_async(long_time_task, args=(i,))

        print('Waiting for all subprocesses done...')

        p.close()

        p.join()

        print('All subprocesses done.')

    结果如下:

    Parent process 669.

    Waiting for all subprocesses done...

    Run task 0 (671)...

    Run task 1 (672)...

    Run task 2 (673)...

    Run task 3 (674)...

    Task 2 runs 0.14 seconds.

    Run task 4 (673)...

    Task 1 runs 0.27 seconds.

    Task 3 runs 0.86 seconds.

    Task 0 runs 1.41 seconds.

    Task 4 runs 1.91 seconds.

    All subprocesses done.

    Pool类可以提供指定数量的进程供用户调用,当有新的请求提交到Pool中时,如果池还没有满,就会创建一个新的进程来执行请求。如果池满,请求就会告知先等待,直到池中有进程结束,才会创建新的进程来执行这些请求。 

    下面介绍一下multiprocessing 模块下的Pool类下的几个方法:

    apply()

    函数原型:

    apply(func[, args=()[, kwds={}]])

    该函数用于传递不定参数,主进程会被阻塞直到函数执行结束(不建议使用,并且3.x以后不在出现)。

    apply_async()

    函数原型:

    apply_async(func[, args=()[, kwds={}[, callback=None]]])

    与apply用法一样,但它是非阻塞且支持结果返回进行回调。

    map()

    函数原型:

    map(func, iterable[, chunksize=None])

    Pool类中的map方法,与内置的map函数用法行为基本一致,它会使进程阻塞直到返回结果。 

    注意,虽然第二个参数是一个迭代器,但在实际使用中,必须在整个队列都就绪后,程序才会运行子进程。

    close()

    关闭进程池(pool),使其不在接受新的任务。

    terminate()

    结束工作进程,不在处理未处理的任务。

    join()

    主进程阻塞等待子进程的退出,join方法必须在close或terminate之后使用。

    参考:

    多进程

    Python 多进程 multiprocessing.Pool类详解

  • 相关阅读:
    CPP标准模板库 随笔
    C++ Concurrency In Action 一些重点
    标准模板库(STL)
    单链表常见操作
    android三大组件之Intent
    数组k平移三种方法(java)
    java中空字符串、null的区别
    java最大最小堆
    java学习笔记之基础知识
    笔试题集锦
  • 原文地址:https://www.cnblogs.com/April-Chou-HelloWorld/p/9080129.html
Copyright © 2020-2023  润新知