• 聊聊IOCP,聊聊异步编程


    前言

    IO完成端口(IO completion ports)在多核计算机的并行异步IO请求方面提供了一种高效的线程模型。当进程创建一个IO完成端口时,系统创建一个相关联的队列,其唯一目的是服务与那些请求。IO完成端口通常和预先分配的线程池配合,相比于一个一个创建线程,这使其更快更高效。IOCP在进程之间并不共享,一个IOCP及其句柄只和创建它的进程关联,但是一个进程中的多个线程可共享。IOCP最关键的地方就是,IOCP在IO请求和接收动作完成之后,激活线程池中的任意线程继续操作,而不是在IO请求和接受完成之后,激活原等待中的线程。这样的好处是防止等待线程闲置,和必须激活/切换到原等待线程的开销。

     

    大多应用存在的问题

    曾见过很多服务,几台,几十台,几百台服务器的,它们cpu大多数时间处于空闲状态,也许需要大量计算的应用并没有那么多,我们常见的应用大多主要读写关系数据库,读写内存数据库/缓存,RPC调用接口。IO耗时过多,CPU大量闲置,导致没看到服务器资源大量消耗,便已不能承受日益增加的访问量,再加服务器,依然大量浪费了资源。 CPU资源昂贵,每一个核心,同一时刻只能有一个线程在运行,超线程cpu同一时刻可以有两个逻辑线程运行,所以说线程不是创建的越多越好,过多的线程只会增加线程切换带来的成本。试想一下,如果应用线程池的线程,都在同步等待IO操作的结束,线程池中也就没有空闲线程继续处理请求,所以线程池会继续创建线程以提供服务。恶性循环,则会带来线程过多的成本,好在线程池不会让这样的事发生。那么到达服务器无法处理更多请求的程度时,http 503便出现了。

     

    windows下使用IOCP

    异步IO在于线程非阻塞,提高CPU利用率,增加服务器吞吐量,助我们承受更大的并发。在windows下使用IOCP,可以直接使用C#异步编程await/async。虽然C#可以直接操作win32API,但.NET平台已提供好异步IO的操作封装,只需要简单的语法,即可完成异步磁盘IO,异步HTTP请求,异步SOCKET,基于.NET框架现有的条件,也很容易做关系数据库,redis,ElasticSearch,mongodb的异步读写。所以推荐在windows下的IO尽可能使用IOCP。IOCP本质上解决的问题就是CPU和IO速度极大的不对等。

     

    基于IOCP的异步编程线程行为证明

    简单写了个API接口,用于证明在异步IO操作的时候,线程并不阻塞等待IO结束,而是将请求交给驱动后返回线程池,继续工作。

    图中代码操作是先记录当前请求处理中的线程ID,然后请求一个10s返回的网络接口。用http客户端并发请求图中该接口后,我们稍后给出线程行为的结论。 我们都知道,如果说服务端线程是IO阻塞的,第一次请求,如果记录了线程ID为1,那么在10s内,该线程一直在阻塞等待,所以10s内不会再出现该线程ID被记录到日志中。 事实上结论是:

    可以看到在同一秒甚至同一毫秒内,一个线程同时处理了多次http请求。另外可以确定的一个事实是,IO前和IO后,线程可能是不一样的,也可能是一样的。

     

    感谢志同道合的你的阅读,如果你希望长期学习到 .Net , Java , Kotlin ,Python 等原理知识,互联网实践干货,技术感悟等,不妨 关注博客,或者闲暇时在微信公众号上阅读。

     

     

  • 相关阅读:
    解决margin 外边距合并问题
    tsx 校验 以及写法
    tsx 引入文件找不到
    Ubuntu 16.04安装和卸载软件命令
    Java8 中使用Stream 让List 转 Map使用总结
    Java8 Stream流式编程浅析
    浅析IOC 和 DI
    [ Java面试题 ]Java 开发岗面试知识点解析
    Intellij Idea 常用快捷键总结+实用小技巧
    Intellij Idea基础设置
  • 原文地址:https://www.cnblogs.com/tdws/p/9582155.html
Copyright © 2020-2023  润新知