• 多道技术与进程


    多道技术与进程

    1 多道技术

    单核实现并发的效果

    1.1 必备知识点

    • 并发

      看起来像同时运行的就可以称之为并发

    • 并行

      真正意义上的同时执行

    ps:

    • 并行肯定算并发
    • 单核的计算机肯定不能实现并行,但是可以实现并发!!!

    补充:我们直接假设单核就是一个核,干活的就一个人,不要考虑cpu里面的内核数

    1.2 多道技术图解

    节省多个程序运行的总耗时

    多道

    1.3 多道技术重点知识

    空间上的服用与时间上的服用

    • 空间上的复用

      多个程序公用一套计算机硬件

    • 时间上的复用

      例子:洗衣服30s,做饭50s,烧水30s

      单道需要110s,多道只需要任务做长的那一个 切换节省时间

      例子:边吃饭边玩游戏 保存状态

    切换+保存状态

    """
    切换(CPU)分为两种情况
    	1.当一个程序遇到IO操作的时候,操作系统会剥夺该程序的CPU执行权限
    		作用:提高了CPU的利用率 并且也不影响程序的执行效率
    	
    	2.当一个程序长时间占用CPU的时候,操作吸引也会剥夺该程序的CPU执行权限
    		弊端:降低了程序的执行效率(原本时间+切换时间)
    """
    

    2 进程理论

    2.1 必备知识点

    程序与进程的区别

    """
    程序就是一堆躺在硬盘上的代码,是“死”的
    进程则表示程序正在执行的过程,是“活”的
    """
    

    2.2 进程调度

    • 先来先服务调度算法

      """对长作业有利,对短作业无益"""
      
    • 短作业优先调度算法

      """对短作业有利,多长作业无益"""
      
    • 时间片轮转法+多级反馈队列

      时间片轮转

    2.3 进程运行的三状态图

    进程三状态

    2.4 重要概念

    • 同步和异步

      """描述的是任务的提交方式"""
      同步:任务提交之后,原地等待任务的返回结果,等待的过程中不做任何事(干等)
        	程序层面上表现出来的感觉就是卡住了
      
      异步:任务提交之后,不原地等待任务的返回结果,直接去做其他事情
        	我提交的任务结果如何获取?
          任务的返回结果会有一个异步回调机制自动处理
      
    • 阻塞非阻塞

      """描述的程序的运行状态"""
      阻塞:阻塞态
      非阻塞:就绪态、运行态
      
      理想状态:我们应该让我们的写的代码永远处于就绪态和运行态之间切换
      

    上述概念的组合:最高效的一种组合就是异步非阻塞

    3 进程实践

    3.1 开启进程的两种方式

    # 第一种方式  Process
    from multiprocessing import Process
    import time
    
    
    def task(name):
        print('%s is running'%name)
        time.sleep(3)
        print('%s is over'%name)
    
    
    if __name__ == '__main__':
        # 1 创建一个对象
        p = Process(target=task, args=('jason',))
        # 容器类型哪怕里面只有1个元素 建议要用逗号隔开
        # 2 开启进程
        p.start()  # 告诉操作系统帮你创建一个进程  异步
        print('主')
        
        
    # 第二种方式 类的继承
    from multiprocessing import Process
    import time
    
    
    class MyProcess(Process):
        def run(self):
            print('hello bf girl')
            time.sleep(1)
            print('get out!')
    
    
    if __name__ == '__main__':
        p = MyProcess()
        p.start()
        print('主')
    

    3.2 join方法

    join是让主进程等待子进程代码运行结束之后,再继续运行。不影响其他子进程的执行

    from multiprocessing import Process
    import time
    
    
    def task(name, n):
        print('%s is running'%name)
        time.sleep(n)
        print('%s is over'%name)
    
    
    if __name__ == '__main__':
        # p1 = Process(target=task, args=('jason', 1))
        # p2 = Process(target=task, args=('egon', 2))
        # p3 = Process(target=task, args=('tank', 3))
        # start_time = time.time()
        # p1.start()
        # p2.start()
        # p3.start()  # 仅仅是告诉操作系统要创建进程
        # # time.sleep(50000000000000000000)
        # # p.join()  # 主进程等待子进程p运行结束之后再继续往后执行
        # p1.join()
        # p2.join()
        # p3.join()
        start_time = time.time()
        p_list = []
        for i in range(1, 4):
            p = Process(target=task, args=('子进程%s'%i, i))
            p.start()
            p_list.append(p)
        for p in p_list:
            p.join()
        print('主', time.time() - start_time)
    

    3.3 进程之间数据相互隔离

    from multiprocessing import Process
    
    
    money = 100
    
    
    def task():
        global money  # 局部修改全局
        money = 666
        print('子',money)
    
    
    if __name__ == '__main__':
        p = Process(target=task)
        p.start()
        p.join()
        print(money)
    

    3.4 总结

    """
    创建进程就是在内存中申请一块内存空间将需要运行的代码丢进去
    一个进程对应在内存中就是一块独立的内存空间
    多个进程对应在内存中就是多块独立的内存空间
    进程与进程之间数据默认情况下是无法直接交互,如果想交互可以借助于第三方工具、模块
    """
    

    3.5 进程对象及其他方法

    """
    一台计算机上面运行着很多进程,那么计算机是如何区分并管理这些进程服务端的呢?
    计算机会给每一个运行的进程分配一个PID号 
    如何查看
    	windows电脑 
    		进入cmd输入tasklist即可查看
    		tasklist |findstr PID查看具体的进程
    	mac电脑 
    		进入终端之后输入ps aux
    		ps aux|grep PID查看具体的进程 
    """
    from multiprocessing import Process, current_process
    current_process().pid  # 查看当前进程的进程号
    
    import os
    os.getpid()  # 查看当前进程进程号
    os.getppid()  # 查看当前进程的父进程进程号
    
    
    p.terminate()  # 杀死当前进程
    # 是告诉操作系统帮你去杀死当前进程 但是需要一定的时间 而代码的运行速度极快
    time.sleep(0.1)
    print(p.is_alive())  # 判断当前进程是否存活
    

    3.6 僵尸进程与孤儿进程

    # 僵尸进程
    """
    死了但是没有死透
    当你开设了子进程之后 该进程死后不会立刻释放占用的进程号
    因为我要让父进程能够查看到它开设的子进程的一些基本信息 占用的pid号 运行时间。。。
    所有的进程都会步入僵尸进程
    	父进程不死并且在无限制的创建子进程并且子进程也不结束
    	回收子进程占用的pid号
    		父进程等待子进程运行结束
    		父进程调用join方法
    """
    
    # 孤儿进程
    """
    子进程存活,父进程意外死亡
    操作系统会开设一个“儿童福利院”专门管理孤儿进程回收相关资源
    """
    

    3.7 守护进程

    守护进程是一种进程,它会在它的主进程结束后也立即结束

    from multiprocessing import Process
    import time
    
    
    def task(name):
        print('%s总管正在活着'% name)
        time.sleep(3)
        print('%s总管正在死亡' % name)
    
    
    if __name__ == '__main__':
        p = Process(target=task,args=('egon',))
        # p = Process(target=task,kwargs={'name':'egon'})
        p.daemon = True  # 将进程p设置成守护进程  这一句一定要放在start方法上面才有效否则会直接报错
        p.start()
        print('皇帝jason寿终正寝')
    

    3.8 互斥锁

    因为多个进程之间数据是隔离的,所以多个进程操作同一份数据的时候,会出现数据错乱的问题

    针对上述问题,解决方式就是加锁处理:将并发变成串行,虽然牺牲效率但是保证了数据的安全

    from multiprocessing import Process, Lock
    import json
    import time
    import random
    
    
    # 查票
    def search(i):
        # 文件操作读取票数
        with open('data','r',encoding='utf8') as f:
            dic = json.load(f)
        print('用户%s查询余票:%s'%(i, dic.get('ticket_num')))
        # 字典取值不要用[]的形式 推荐使用get  你写的代码打死都不能报错!!!
    
    
    # 买票  1.先查 2.再买
    def buy(i):
        # 先查票
        with open('data','r',encoding='utf8') as f:
            dic = json.load(f)
        # 模拟网络延迟
        time.sleep(random.randint(1,3))
        # 判断当前是否有票
        if dic.get('ticket_num') > 0:
            # 修改数据库 买票
            dic['ticket_num'] -= 1
            # 写入数据库
            with open('data','w',encoding='utf8') as f:
                json.dump(dic,f)
            print('用户%s买票成功'%i)
        else:
            print('用户%s买票失败'%i)
    
    
    # 整合上面两个函数
    def run(i, mutex):
        search(i)
        # 给买票环节加锁处理
        # 抢锁
        mutex.acquire()
    
        buy(i)
        # 释放锁
        mutex.release()
    
    
    if __name__ == '__main__':
        # 在主进程中生成一把锁 让所有的子进程抢 谁先抢到谁先买票
        mutex = Lock()
        for i in range(1,11):
            p = Process(target=run, args=(i, mutex))
            p.start()
    """
    扩展 行锁 表锁
    
    注意:
    	1.锁不要轻易的使用,容易造成死锁现象(我们写代码一般不会用到,都是内部封装好的)
    	2.锁只在处理数据的部分加来保证数据安全(只在争抢数据的环节加锁处理即可) 
    """
    

    3.9 进程间通信

    3.9.1 队列Queue模块

    管道:subprocess
    队列:管道+锁

    """
    
    
    队列:先进先出
    堆栈:先进后出
    """
    from multiprocessing import Queue
    
    # 创建一个队列
    q = Queue(5)  # 括号内可以传数字 标示生成的队列最大可以同时存放的数据量
    
    # 往队列中存数据
    q.put(111)
    q.put(222)
    q.put(333)
    # print(q.full())  # 判断当前队列是否满了
    # print(q.empty())  # 判断当前队列是否空了
    q.put(444)
    q.put(555)
    # print(q.full())  # 判断当前队列是否满了
    
    # q.put(666)  # 当队列数据放满了之后 如果还有数据要放程序会阻塞 直到有位置让出来 不会报错
    
    """
    存取数据 存是为了更好的取
    千方百计的存、简单快捷的取
    
    同在一个屋檐下
    差距为何那么大
    """
    
    # 去队列中取数据
    v1 = q.get()
    v2 = q.get()
    v3 = q.get()
    v4 = q.get()
    v5 = q.get()
    # print(q.empty())
    # V6 = q.get_nowait()  # 没有数据直接报错queue.Empty
    # v6 = q.get(timeout=3)  # 没有数据之后原地等待三秒之后再报错  queue.Empty
    try:
        v6 = q.get(timeout=3)
        print(v6)
    except Exception as e:
        print('一滴都没有了!')
    
    # # v6 = q.get()  # 队列中如果已经没有数据的话 get方法会原地阻塞
    # print(v1, v2, v3, v4, v5, v6)
    
    """
    q.full()
    q.empty()
    q.get_nowait()
    在多进程的情况下是不精确
    """
    

    3.9.2 IPC机制

    通过队列进行进程间的通信(Inter-Process Communication,进程间通信)

    IPC方法包括管道(PIPE)、消息排队、旗语、共用内存以及套接字(Socket)

    from multiprocessing import Queue, Process
    
    """
    研究思路
        1.主进程跟子进程借助于队列通信
        2.子进程跟子进程借助于队列通信
    """
    def producer(q):
        q.put('我是23号技师 很高兴为您服务')
    
    
    def consumer(q):
        print(q.get())
    
    
    if __name__ == '__main__':
        q = Queue()
        p = Process(target=producer,args=(q,))
        p1 = Process(target=consumer,args=(q,))
        p.start()
        p1.start()
    

    3.10 生产者消费者模型

    """
    生产者:生产/制造东西的
    消费者:消费/处理东西的
    该模型除了上述两个之外还需要一个媒介
    	生活中的例子做包子的将包子做好后放在蒸笼(媒介)里面,买包子的取蒸笼里面拿
    	厨师做菜做完之后用盘子装着给你消费者端过去
    	生产者和消费者之间不是直接做交互的,而是借助于媒介做交互
    	
    生产者(做包子的) + 消息队列(蒸笼) + 消费者(吃包子的)
    """
    
    from multiprocessing import Process, Queue, JoinableQueue
    import time
    import random
    
    
    def producer(name,food,q):
        for i in range(5):
            data = '%s生产了%s%s'%(name,food,i)
            # 模拟延迟
            time.sleep(random.randint(1,3))
            print(data)
            # 将数据放入 队列中
            q.put(data)
    
    
    def consumer(name,q):
        # 消费者胃口很大 光盘行动
        while True:
            food = q.get()  # 没有数据就会卡住
            # 判断当前是否有结束的标识
            # if food is None:break
            time.sleep(random.randint(1,3))
            print('%s吃了%s'%(name,food))
            q.task_done()  # 告诉队列你已经从里面取出了一个数据并且处理完毕了
    
    
    if __name__ == '__main__':
        # q = Queue()
        q = JoinableQueue()
        p1 = Process(target=producer,args=('大厨egon','包子',q))
        p2 = Process(target=producer,args=('马叉虫tank','泔水',q))
        c1 = Process(target=consumer,args=('春哥',q))
        c2 = Process(target=consumer,args=('新哥',q))
        p1.start()
        p2.start()
        # 将消费者设置成守护进程
        c1.daemon = True
        c2.daemon = True
        c1.start()
        c2.start()
        p1.join()
        p2.join()
        # 等待生产者生产完毕之后 往队列中添加特定的结束符号
        # q.put(None)  # 肯定在所有生产者生产的数据的末尾
        # q.put(None)  # 肯定在所有生产者生产的数据的末尾
        q.join()  # 等待队列中所有的数据被取完再执行往下执行代码
        """
        JoinableQueue 每当你往该队列中存入数据的时候 内部会有一个计数器+1
        没当你调用task_done的时候 计数器-1
        q.join() 当计数器为0的时候 才往后运行
        """
        # 只要q.join执行完毕 说明消费者已经处理完数据了  消费者就没有存在的必要了
        # 所以可以将消费者设置成守护进程
    
  • 相关阅读:
    轻重搭配
    EF的优缺点
    使用bootstrap-select有时显示“Nothing selected”
    IIS发布 HTTP 错误 500.21
    js添加的元素无法触发click事件
    sql server查看表是否死锁
    sql server把一个库表的某个字段更新到另一张表的相同字段
    SQLSERVER排查CPU占用高的情况
    SQL server中如何按照某一字段中的分割符将记录拆成多条
    LINQ to Entities does not recognize the method 'System.DateTime AddDays(Double)' method, and this method cannot be translated into a store expression.
  • 原文地址:https://www.cnblogs.com/achai222/p/12757663.html
Copyright © 2020-2023  润新知