• python gevent


      大家都知道python脚本执行的时候不是很快,特别是python下面的多线程机制,长久以来一直被大家所诟病。所以,很多同学都在思考python下面有没有什么方法可以让python执行地更快一些。其中这些方法包括:1、将复杂的代码转由c完成;2、多进程并发执行;3、用多线程完成io操作等等。另外,这几年,大家讨论最多的大概还是gevent协程机制。

    1、协程的基本原理
        gevent的基本原理来自于libevent&libev。熟悉c语言的同学对这么一个lib应该不陌生。本质上libevent或者说libev都是一种事件驱动模型。这种模型对于提高cpu的运行效率,增强用户的并发访问非常有效。但是因为它本身是一种事件机制,所以写起来有点绕,不是很直观。所以,为了修正这个问题,有心人引入了用户侧上下文切换的机制。这就是说,如果代码中引入了带io阻塞的代码时,lib本身会自动完成上下文的切换,全程用户都是没有觉察的。这就是gevent的由来。

    2、gevent安装
        ubuntu下面可以直接用apt-get安装gevent库。

    sudo apt-get install python-gevent

    3、gevent入门
        为了说明gevent的使用方法,我们可以看一段简单的代码,

    import gevent
    
    def f1():
    for i in range(5):
    print 'this is ' + str(i)
    gevent.sleep(0)
    
    def f2():
    for i in range(5):
    print 'that is ' + str(i)
    gevent.sleep(0)
    
    t1 = gevent.spawn(f1)
    t2 = gevent.spawn(f2)
    gevent.joinall([t1, t2])

        通过打印输出,可以看出f1和f2是交叉打印信息的,因为在代码执行的过程中,由用户自己主动调用了切换函数。

    4、延时操作
        关于延时,我们只需要将上面的代码修改一下,即将sleep时间变长即可,

    import gevent
    
    def f1():
    for i in range(5):
    print 'this is ' + str(i)
    gevent.sleep(3)
    
    def f2():
    for i in range(5):
    print 'that is ' + str(i)
    gevent.sleep(3)
    
    t1 = gevent.spawn(f1)
    t2 = gevent.spawn(f2)
    gevent.joinall([t1, t2])

    5、锁操作
        虽然是协程,但是在里面添加锁增加对共享资源的互斥访问也是非常重要的,此外锁本身的添加也是很简单的,

    import gevent
    from gevent.lock import Semaphore
    
    sem = Semaphore(1)
    
    def f1():
    for i in range(5):
    sem.acquire()
    print 'this is ' + str(i)
    sem.release()
    
    def f2():
    for i in range(5):
    sem.acquire()
    print 'that is ' + str(i)
    sem.release()
    
    t1 = gevent.spawn(f1)
    t2 = gevent.spawn(f2)
    gevent.joinall([t1, t2])

    6、延时和锁
        大家可以看一下如果锁和延时一起使用,会怎么样?

    import gevent
    from gevent.lock import Semaphore
    
    sem = Semaphore(1)
    
    def f1():
    for i in range(5):
    sem.acquire()
    print 'this is ' + str(i)
    sem.release()
    gevent.sleep(2)
    
    def f2():
    for i in range(5):
    sem.acquire()
    print 'that is ' + str(i)
    sem.release()
    
    t1 = gevent.spawn(f1)
    t2 = gevent.spawn(f2)
    gevent.joinall([t1, t2])

    7、gevent下的monkey机制
        要是gevent说到这里,只能算的上还行。我个人觉得gevent另外一个特别厉害的功能就是它的monkey机制。简单来说,假设你不愿意修改原来已经写好的python代码,但是又想充分利用gevent机制,那么你就可以用monkey来做到这一点。你所要做的就是在文件开头打一个patch,那么它就会自动替换你原来的thread、socket、time、multiprocessing等代码,全部变成gevent框架。这一切都是由gevent自动完成的。注意这个patch是在所有module都import了之后再打,否则没有效果。

    from gevent import monkey; monkey.patch_all()
    import gevent

    ---------------------
    原文:https://blog.csdn.net/feixiaoxing/article/details/79056535

  • 相关阅读:
    Ubuntu Server中怎样卸载keepalived
    Winform中实现ZedGraph滚轮缩放后自动重新加载数据
    Winform中自定义添加ZedGraph右键实现设置所有Y轴刻度的上下限
    C#中获取多个对象list中对象共有的属性项
    Windows7中启动Mysql服务时提示:拒绝访问的一种解决方式
    八、子查询实践
    四、bootstrap-Table
    二、sql新增后返回主键|sql 使用 FOR XML PATH实现字符串拼接|sql如果存在就修改不存在就新增
    一、动词、名词、形容词汇位置
    三、TortoiseSVN 单独拉取项目某个文件
  • 原文地址:https://www.cnblogs.com/dancesir/p/10043215.html
Copyright © 2020-2023  润新知