• 提高服务器并发能力的方法论


     如何提高服务器并发能力,理论依据、方法是什么

      呐,一台服务器,到底能处理多少并发?1万,10万,一百一千万?由什么决定呢?

      不用说,最终肯定是由硬件决定!更强的cpu、更大的内存、更高的带宽、更高速的io设备……来一台IBM大型机,再菜的鸟也能整到百万并发

      转载请注明原著:博客园老钟 https://www.cnblogs.com/littlecarry/

      讨论硬件没有多大意义

      我们要讨论的事,普通固定硬件条件下,如何提升单体服务器的并发能力

      并发,也就是单位时间里服务器处理的最大请求数,通常定义为1秒时间内。

    首先明确一点,提高服务器并发能力,是一个系统性问题,不是一两个方法就能解决的。

    一、回归问题的本质

            面对外部并发访问,服务器的行为描述为两点:连接请求、处理请求

      1、连接请求

       成千上万的请求,同时连到服务器,如何高效管理

      2、处理请求

       那么多的请求要处理,如何快速执行完,然后返回、释放资源?

         一个请求执行的时间越短,服务器单位时间内能处理的请求就越多,并发能力就越强。

    二、什么制约处理速度

       要提升服务器并发能力,就是要提升“连接请求”、“处理请求”的处理速度, 核心是找出他们的性能瓶颈、改善性能瓶颈

            性能瓶颈包括:

      1、操作系统的IO连接管理能力瓶颈

       涉及:阻塞、非阻塞、同步、异步IO,多路复用等。一个请求打到服务器,服务器要分配他内存、线程、cpu等资源,共享的方式,可以节约很多资源。

          提升方法:基于NIO多路复用技术 ,可以让上亿的请求,同时连在一台服务器上高效管理

      2、操作系统的IO读写能力瓶颈

        涉及:网络IO、硬盘IO、内存等。io的读写是很慢的,非常重要的瓶颈,请求的执行,可能涉及网络IO、硬盘IO、内存的读写,缩短或屏蔽这些读写,将大大提升执行速度。

        提升方法:零拷贝、DMA、缓存等

      3、系统资源竞争瓶颈

        涉及:线程数量、锁竞争、内存申请释放、系统参数配置等

        提升方法:1)线程越多,操作系统切换线程上下文消耗越大,线程少,IO的阻塞可能导致系统空转。通过实际调试分配合适的线程数量

                2)锁的种类很多,悲观、乐观,重入等等,选择合适的锁,能提升资源的竞争率。所有的锁都是悲观锁,是不可取的。

             3)内存合理的申请、释放,能节约资源的消耗

                4)系统参数、jvm参数,很多根据实际情况分配

      4、代码能力瓶颈

        涉及:代码架构、代码逻辑、代码对内存的操作等

       三、 小结:

      性能瓶颈改善,主要针对处理请求的能力的提升连接请求的能力也同步提升。

      很多网上说nginx的并发量是2万、5万、6万……,都是不对的,一是nginx的代码架构,并没有对并发量的约束,二是脱离了硬件。nginx的架构没有约束连接请求,“处理请求”,就看你对性能瓶颈的改善,以及你的硬件,这两点提升了,并发佰亿可能不是问题

      当然,这里还有一个“单机性能”的问题,不用切换线程的操作系统,执行当然最快。所以需要处理百万级别的并发,分布式处理效率才是最高的。还有灾备、高可用等等问题

      本文只是提供基本的理论思路,很多具体的方法不细说,得自行查询

      

  • 相关阅读:
    Pandas数据结构简要概述
    pip install PyQt5和pip install PyQt5tools安装后,找不到designer.exe路径
    解决Qt5中利用designer建立二级菜单无法输入中文的处理技巧
    事务
    大家一起讨论一下朋友网的人脉关系算法是怎么实现的
    .net程序员必须学习的10项技术
    KENDOUI控件 GRID中TEMPLATE中条件判断的使用
    Kendo Template 模板中使用KendoUI组件
    Kendo.Grid 使用POPUP时分别定义Create和Edit模板
    Kendo UI 遮罩层组件
  • 原文地址:https://www.cnblogs.com/littlecarry/p/14980797.html
Copyright © 2020-2023  润新知