• Python|多任务:线程、进程、协程--你想要的都在这里


    一、多任务——线程

    1.前置知识:

    • 1.操作系统知识:操作系统调用方法--时间片轮转、时间优先级

    • 2.并发:假的多任务:CPU核心数小于同时需要执行的任务数;记忆:魔术师左右手互抛发球。

    • 3.并行:真的多任务

    2.Pyhon 3.X中创建多线程的两种方法:

    • 2.1 法一:导入threading包的方法:

      关键几步代码:

      
      import threading
      t=threading.Thread(target=函数名,[args=(元组形式传入需要传递给调用函数的方法)])  # 调用threading的Thread类生成普通的实例对象;# 这里还需要注意的是,传递的是函数名,不能在函数名之后加(),否则就变成函数的嵌套调用
      t.start()  # 创建子线程并开始执行子线程。
    • 2.2 法二:threading.Thread()是一个类对象,可以作为父类被继承:

    • 关键几步代码:

      import threading
      class MyThread(threading.Thread):
          def run(self):  
              pass
      t=MyThread()  # 生成线程对象
      t.start()  
      
      # 必须要有run方法,这样在实例对象调用start()的时候自动执行run()方法。注意:run()方法执行结束,该线程就结束。所以,可以在run方法中调用其他方法来间接执行其他方法。

    3.主线程、子线程执行顺序

    • 3.1 多线程程序的执行顺序是不确定的 :实际上,主线程和子线程执行的顺序由操作系统决定,开启子线程需要时间,执行主线程也需要时间,这两个时间不确定。所以到底如何执行也不确定。

    4.多线程产生的[资源竞争]问题及解决方案

    • 4.1 共享全局变量,实现多线程的设计优势,但是也存在资源竞争的问题,这个和语言无关,和操作系统的底层设计有关;

    • 4.2 解决方案——互斥锁

      • threading.Lock()方法创建mutex对象,该对象调用acquire()和release()方法

      • 互斥锁之间的代码一般越少越好,但具体还看需求。

    • 4.3 互斥锁存在的问题:死锁 --> 互相等对方的资源

      • 解决方案:添加超时时间、银行家算法等等


    二、多任务——进程

    1.基本定义、概念及前置知识

    • 1.1 操作系统 [写时拷贝(修改的时候才拷贝)]--操作系统概念,多进程基本代码是共享的一份,内存等资源会复制。

    • 1.2 一个程序一般可以有多个进程(辅助记忆:菜谱只有一份),每个进程在操作系统中对应一个PID。

    • 1.3 进程状态:就绪-->执行-->等待

    • 1.4 进程是系统分配资源的单位

    2.Pyhon 3.X中创建多进程的方法

    
    import multiprocessing
    ...
    p = muttiprocessing.Process(target=待调用的函数名, args=(元组形式传递待调用函数所需要的参数))
    p.start()
    ...
    
    # 创建队列
    q = multiprocessing.Queue()
    # 创建进程池
    po = multiprocessing.Pool()
    # 通过进程池实现进程间通信和多进程操作
    po.apply_async(待调用函数名,(传递给目标的参数元祖,))
    ...
    

    2.执行顺序

    • 2.1 进程运行无顺序 (前提是子进程开启):子进程、主进程运行顺序不确定

    • 2.2 join方法 -- 线程、进程

    3.进程间的通信

    • 3.1 socket -- 进程间网络通信

    • 3.2 Queue -- 通过[队列]实现进程间通信

      • 3.2.1 multiprocessing.Queue()实例对象有put()--存,get()--取等方法,其返回值是True、Flase等bool类型。

      • 3.2.2 扩展:1>单个进程间通信,列表等,直接用Queue模块;2>进程间通信--multiprocessing.Queue()和socket() ;3>涉及到进程池中子进程和主进程的通信,需要用到Multiprocessing.manager()中的Lock()和Queue()

    • 3.3 进程间不共享全局变量

    4.进程池 -- Pool

    • 4.1 进程管理器:在有大量的(不确定数量的)进程的时候,就可以让进程运行保持合理、高效的利用进程。进程的创建和销毁会占用大量的系统资源,如果一个进程结束可以让后面等待的进程继续使用这个系统资源,那么就可以提高系统资源利用率,这就是pool的威力。

    • 4.2 Pool().join() #阻塞 :进程池的主进程和多线程、多进程不同,主程序是不会等待子进程执行结束就可能关闭,所以必须要在关闭进程池之后添加一行po.join()方法,起到阻塞作用。

    • 4.3 特点:一些进程会继承之前进程池中的进程号

    • 4.4 要点1: 进程池中的进程产生异常可能不会报出异常,没法判断进程池中的进程是否执行.

    • 4.5 要点2:队列遇到进程池的时候,用multiprocessing.Manager().Queue()

    三、多任务 —— 协程

    1.前课知识

    • 1.1 from collections import Iterable,Iterator

    • 1.2 raise StopIteration 被python中的for...in...捕获

    • Python3.X 中 可迭代对象,占用很小的空间,存储的是生成结果的方式,而不是生成的结果。

    2.迭代器&生成器

    • 2.1 可迭代对象不等于迭代器,str、list、tuple、dict

    • 2.2 python特有的列表生成式[x for x in range(10)]、元组生成式;占用空间小。

    • 2.3 next();iter()方法

    • 2.4 yield 生成器--特殊的迭代器

    • 2.init方法每次返回同一个迭代器,不能多次迭代,每次返回不同的迭代器,可以多次迭代。

    3.迭代器-->生成器yield-->greenlet-->gevent,gevent打补丁

    
    # greenlet 用法关键
    from greenlet import greenlet
    
    gre1 = greenlet(待调用函数名)
    
    gre1.switch()
    # gevent 用法
    import gevent
    
    
    def fun(n):
        for i in range(n):
            print(gevent.getcurrent(), i)
            gevent.sleep(1)  # 非time.sleep()
    
    g1 = gevent.spawn(fun, 10)
    g2 = gevent.spawn(fun, 10)
    g1.join()
    g2.join()
    
    # gevent 打补丁及方法扩展
    
    from gevent import monkey
    import gevent
    import random
    import time
    
    
    # 有耗时操作时需要
    monkey.patch_all()  # 将程序中用到的耗时操作的代码,换为gevent中自己实现的模块
    
    
    def work(coroutine_name):
        for i in range(10):
            print(coroutine_name, i)
            time.sleep(random.random())
    
    gevent.joinall([
            gevent.spawn(work, "work1"),
            gevent.spawn(work, "work2")
    ])


    二、多任务——进程

    1.基本定义、概念及前置知识

    • 1.1 操作系统 [写时拷贝(修改的时候才拷贝)]--操作系统概念,多进程基本代码是共享的一份,内存等资源会复制。

    • 1.2 一个程序一般可以有多个进程(辅助记忆:菜谱只有一份),每个进程在操作系统中对应一个PID。

    • 1.3 进程状态:就绪-->执行-->等待

    • 1.4 进程是系统分配资源的单位

    2.Pyhon 3.X中创建多进程的方法

    
    import multiprocessing
    ...
    p = muttiprocessing.Process(target=待调用的函数名, args=(元组形式传递待调用函数所需要的参数))
    p.start()
    ...
    
    # 创建队列
    q = multiprocessing.Queue()
    # 创建进程池
    po = multiprocessing.Pool()
    # 通过进程池实现进程间通信和多进程操作
    po.apply_async(待调用函数名,(传递给目标的参数元祖,))
    ...
    

    2.执行顺序

    • 2.1 进程运行无顺序 (前提是子进程开启):子进程、主进程运行顺序不确定

    • 2.2 join方法 -- 线程、进程

    3.进程间的通信

    • 3.1 socket -- 进程间网络通信

    • 3.2 Queue -- 通过[队列]实现进程间通信

      • 3.2.1 multiprocessing.Queue()实例对象有put()--存,get()--取等方法,其返回值是True、Flase等bool类型。

      • 3.2.2 扩展:1>单个进程间通信,列表等,直接用Queue模块;2>进程间通信--multiprocessing.Queue()和socket() ;3>涉及到进程池中子进程和主进程的通信,需要用到Multiprocessing.manager()中的Lock()和Queue()

    • 3.3 进程间不共享全局变量

    4.进程池 -- Pool

    • 4.1 进程管理器:在有大量的(不确定数量的)进程的时候,就可以让进程运行保持合理、高效的利用进程。进程的创建和销毁会占用大量的系统资源,如果一个进程结束可以让后面等待的进程继续使用这个系统资源,那么就可以提高系统资源利用率,这就是pool的威力。

    • 4.2 Pool().join() #阻塞 :进程池的主进程和多线程、多进程不同,主程序是不会等待子进程执行结束就可能关闭,所以必须要在关闭进程池之后添加一行po.join()方法,起到阻塞作用。

    • 4.3 特点:一些进程会继承之前进程池中的进程号

    • 4.4 要点1: 进程池中的进程产生异常可能不会报出异常,没法判断进程池中的进程是否执行.

    • 4.5 要点2:队列遇到进程池的时候,用multiprocessing.Manager().Queue()

    三、多任务 —— 协程

    1.前课知识

    • 1.1 from collections import Iterable,Iterator

    • 1.2 raise StopIteration 被python中的for...in...捕获

    • Python3.X 中 可迭代对象,占用很小的空间,存储的是生成结果的方式,而不是生成的结果。

    2.迭代器&生成器

    • 2.1 可迭代对象不等于迭代器,str、list、tuple、dict

    • 2.2 python特有的列表生成式[x for x in range(10)]、元组生成式;占用空间小。

    • 2.3 next();iter()方法

    • 2.4 yield 生成器--特殊的迭代器

    • 2.init方法每次返回同一个迭代器,不能多次迭代,每次返回不同的迭代器,可以多次迭代。

    3.迭代器-->生成器yield-->greenlet-->gevent,gevent打补丁

    
    # greenlet 用法关键
    from greenlet import greenlet
    
    gre1 = greenlet(待调用函数名)
    
    gre1.switch()
    # gevent 用法
    import gevent
    
    
    def fun(n):
        for i in range(n):
            print(gevent.getcurrent(), i)
            gevent.sleep(1)  # 非time.sleep()
    
    g1 = gevent.spawn(fun, 10)
    g2 = gevent.spawn(fun, 10)
    g1.join()
    g2.join()
    
    # gevent 打补丁及方法扩展
    
    from gevent import monkey
    import gevent
    import random
    import time
    
    
    # 有耗时操作时需要
    monkey.patch_all()  # 将程序中用到的耗时操作的代码,换为gevent中自己实现的模块
    
    
    def work(coroutine_name):
        for i in range(10):
            print(coroutine_name, i)
            time.sleep(random.random())
    
    gevent.joinall([
            gevent.spawn(work, "work1"),
            gevent.spawn(work, "work2")
    ])

  • 相关阅读:
    NodeJs实现图片上传
    初步认识Express框架渲染视图
    在javascript中使用replace
    javascript作用域与闭包
    eviews面板数据的操作
    我做的python常用的小技巧
    css3学习笔记
    div垂直居中的问题
    display和visibility的区别
    关于call和apply的那点事儿
  • 原文地址:https://www.cnblogs.com/xiegalpha/p/9231655.html
Copyright © 2020-2023  润新知