• 大型网站系统架构实践(二)分布式模块之间的通信


    上一篇文章中讲到了分布式部署之后,各个模块要通过网络进行通信,那么如何通信,用什么协议呢?

    可选的方案有http tcp/ip(socket)等

    http短连接通信方案

    基于http协议,xml报文传输

    客户端具体框架为httpclient,服务端为struts2

    客户端和服务端的通信在内网

    该方案我们实行过一段时间,发现存在性能问题,首先是短连接,在并发量较大的时候,开启大量的tcp连接,这样连接资源容易耗尽,客户端首先成为瓶颈,tps上不去。

    我总结的几点原因:

    1.每次通信都重新开启新的tcp连接,握手协议耗时间

    2.tcp是慢启动,TCP 数据传输的性能还取决于 TCP 连接的使用期(age)。TCP 连接会随着时间进行自我“调谐”,起初会限制连接的最大速度,如果数据成功传输,会随着时间的推移提高传输的速度。这种调谐被称为 TCP 慢启动(slow start),用于防止因特网的突

    然过载和拥塞

    3.http协议是在tcp协议上封装了一层,因此还存在解析协议的消耗,如果直接用tcp协议进行传输,效率将要高一点

    据说http1.1可以实现长连接,但是没有用java客户端试过,后续再研究

    4.短时间内开启过多的连接,容易将系统资源耗尽

    Mina长连接通信方案

    主要开发任务在客户端,我是用Mina做的长连接异步通信,

    我自己编写代码实现了一个,有时间贴出来分享一下,如果有想了解Mina使用技术的,可以先看我的Mina系列博客http://www.cnblogs.com/tangyanbo/p/4297377.html

    这里我做了相关的性能测试,下面把测试结果贴出来一下:

    短连接测试

    场景描述

    socket 发送消息到服务端,接收到响应后关闭

    结果:

    一段时间过后,会出现死掉的现象,连接会被耗尽

    服务器cpu

    2线程 3000Mhz

    服务器cpu使用率

    110%

    客户端cpu

    4线程 2400Mhz

    客户端cpu使用率

    95%

    客户端执行线程数

    500

    每秒并发数

    1800

    长连接异步通讯测试

    场景描述

    客户端开启2个长连接,与服务端通信

    服务器cpu

    2线程 3000Mhz

    服务器cpu使用率

    100%-150%

    客户端cpu

    4线程 2400Mhz

    客户端cpu使用率

    60%

    客户端连接数

    2

    客户端执行线程数

    500

    每秒通过事务数

    16000

    性能明显提升,而且状态稳定,cpu利用率较低

    这里大家会有个问题,为什么要用异步通信,不能是同步

    这里其实我们先要搞清楚什么是同步通信,什么是异步通信

    同步通信

    同步通信应该很好理解,这里我们以同一个socket连接为例,即多次请求都是从一个socket连接发送出去的。

    Socket客户端发送一个请求,等待响应成功之后,再发送另一个请求,即在同一时间只能发送一个请求,假如我们的场景是这样的,发送的报文较小,服务端处理的速度较快,我们网站的大多数业务请求都是这样的,这样报文在网络中传输的时候,通道是很空闲的,通信的吞吐量将收到影响。

    典型的同步通信案例是jdbc

    异步通信

    还是以同一个socket连接为例,socket客户端发送一个请求之后,在响应还没到来的时候,可以继续发送另一个请求,具体场景是这样的,业务线程1发送请求,然后线程等待结果,业务线程2发送请求,然后等待结果,以此类推,但是socket输出通道可以一直发送消息,socket输入一直在接收消息,这样业务处理和通信逻辑是分离开来的互不干扰,且充分利用了通信通道,因为网络传输的速度比cpu和磁盘要慢的多,因此有效利用网络资源,将极大的提高系统吞吐量,当然要记住这里的使用场景,高并发,较小的报文传输,如果报文特别大,几十MB,那异步通信就没意义了

    NIO 和BIO

    Mina是使用的NIO

    这个网站上很多资料,我就简单的讲下,我们的场景是适合用NIO的,为什么呢?

    我们的场景除了高并发,报文小,还有一个特点,就是客户端部署的点要远远多于服务端,因为越是底层的服务,可重用性越高,那么客户端就相对较多,服务端相对较少。

    BIO的缺点

    传统的BIO特点,有N个客户端连接服务端,服务端就需要开启N个线程来分别处理客户端的请求,而且很多时候客户端是空闲状态的,那么服务端给它开的线程也将空闲,造成了资源浪费,同时线程数还不够用。

    NIO的优点

    NIO很好的解决了这个问题,它使得服务端的一个线程可以处理多个客户端连接,只要协调的好,可以用较少的线程处理较多的客户端连接,使线程利用率得到很大的提高。

    上一篇 大型网站系统架构的演进(一)

    目录 大型网站系统架构的演进目录

    下一篇  大型网站系统架构的演进(三)如何提高网站的高可用和高性能

  • 相关阅读:
    《当程序员的那些狗日日子》(二十七)大项目
    《当程序员的那些狗日日子》(四十二)内心的挣扎
    《当程序员的那些狗日日子》(二十一)加班,加班
    《当程序员的那些狗日日子》(三十四)人事变动
    《当程序员的那些狗日日子》(五十二)同学情与差距
    《当程序员的那些狗日日子》(四十四)是办公室还是牢房
    《当程序员的那些狗日日子》(四十七)躁动的空气
    《当程序员的那些狗日日子》(三十七)黯然离去
    《当程序员的那些狗日日子》(十六)告别
    《当程序员的那些狗日日子》(二十三)死在了今天的晚上
  • 原文地址:https://www.cnblogs.com/tangyanbo/p/4389142.html
Copyright © 2020-2023  润新知