• 23-《分布式系统架构的本质》系列03——分布式系统的技术栈


      前文说到,构建分布式系统的目的是增加系统容量,提高系统可用性。实际上就是要完成下面两件事:

    • 大流量处理:通过集群技术将大规模并发请求的负载分散到不同机器上。
    • 关键业务保护:提高后台服务的可用性,隔离故障以阻止雪崩效应。如果流量过大,则需对业务降级,以保护关键业务流转。

      简而言之,就是两件事:一是提高整体架构的吞吐量,服务更多的并发和流量。二是为了提高系统的稳定性,让系统可用性更高。

    一、提高架构的性能

      提高系统性能的常用技术:

      

     缓存系统

      加入缓存系统可以有效提高系统访问能力。从前端的浏览器,到网络,再到后端的服务,底层数据库,文件系统,硬盘和 CPU,全都有缓存,这是提高快速访问能力最有效的手段。

      对于分布式系统下的缓存系统,需要一个缓存集群。这里需要一个 Proxy 来做缓存的分片和路由。

    负载均衡系统

      负载均衡系统是水平扩展的关键技术,它可以使用多台机器来共同分担一部分流量请求。

    异步调用

      异步系统主要通过消息队列来对请求做排队处理,从而把前端的请求峰值给削平了,后端以自己的速度来处理请求。

      这样可以增加系统的吞吐量,但会降低实时性。此外,还会引入消息丢失的问题,所以要对消息做持久化,这会造成“有状态”的结点,从而增加了服务调度的难度。

    数据分区和数据镜像

      数据分区是把数据按一定的方式分成多个区(比如通过地理位置),不同的数据区来分担不同区的流量。这需要一个数据路由的中间件,会导致跨库的 Join 和跨库的事务非常复杂。

      数据镜像是把一个数据库镜像成多份一样的数据,这样就不需要数据路由的中间件了。你可以在任意结点上进行读写,内部会自行同步数据。然而,数据镜像中最大的问题就是数据的一致性问题。

      对于一般公司来说,在初期,会使用读写分离的数据镜像方式,而后期会采用分库分表的方式。

    二、提高架构稳定性

      提高系统稳定性的常用技术:

      

     服务拆分

      服务拆分有两个目的:一是为了隔离故障,二是为了重用服务模块。

      服务拆分后,会引入服务调用间的依赖问题。

    服务冗余

      服务冗余是为了去除单点故障,支持服务的弹性伸缩,以及故障迁移。

      对于一些有状态的服务来说,冗余这些有状态的服务,就带来了更高的复杂性。譬如,弹性伸缩时,需要考虑数据的复制或重新分片,迁移的时候还要将数据迁移到其他机器上。

    限流降级

      系统实在扛不住压力时,只能通过限流或功能降级的方式来停用一部分服务,或是拒绝一部分用户,以确保整个架构不会挂掉。这些技术属于保护措施。

    高可用架构

      高可用架构通常是从冗余架构的角度来保障可用性。譬如,多租户隔离,备灾多活,或是数据可以在其中复制保持一致性的集群。这都是为了保障不出单点故障。

    高可用运维

      高可用运维指的是 DevOps 中的 CI/CD。良好的运维应该是一条很流畅的软件发布管线,其中做了足够的自动化测试,还可以做相应的灰度发布,以及对线上系统的自动化控制。

      这样,可以做到“计划内”或是“非计划内”的宕机事件的时长最短。

    三、分布式系统的关键技术

      分布式系统会引入一系列技术问题,需要从以下几个方面来解决。

    服务治理

      服务拆分、服务调用、服务发现、服务依赖、服务的关键度定义等。

      服务治理的最大意义是需要把服务间的依赖关系、服务调用链,以及关键的服务给梳理出来,并对这些服务进行性能和可用性方面的管理。

    架构软件管理

      服务之间有依赖,而且有兼容性问题。所以,整体服务所形成的架构需要有架构版本管理、整体架构的生命周期管理,以及对服务的编排、聚合、事务处理等服务调度功能。

    DevOps

      分布式系统可以更为快速地更新服务,但是对于服务的测试和部署都会是挑战。所以,还需要 DevOps 的全流程,其中包括环境构建、持续集成、持续部署等。

    自动化运维

      有了 DevOps 后,我们就可以对服务进行自动伸缩、故障迁移、配置管理、状态管理等一系列的自动化运维技术了。

    资源调度管理

      应用层的自动化运维需要基础层的调度支持,也就是云计算 IaaS 层的计算、存储、网络等资源调度、隔离和管理。整体架构监控。如果没有一个好的监控系统,那么自动化运维和资源调度管理只可能成为一个泡影,因为监控系统是你的眼睛。没有眼睛,没有数据,就无法进行高效的运维。所以说,监控是非常重要的部分。这里的监控需要对三层系统(应用层、中间件层、基础层)进行监控。

    流量控制

      最后是我们的流量控制,负载均衡、服务路由、熔断、降级、限流等和流量相关的调度都会在这里,包括灰度发布之类的功能也在这里。

    降低门槛的技术——Docker

      想做好上述技术,需要大量的人力、物力和时间。但通过 Docker 及其衍生出来的 Kubernetes 之类的软件或解决方案,大大地降低了门槛。

      Docker 将软件和运行环境打包,然后比较轻量级地启动和运行。在运行过程中,软件变成了服务,这可能会改变现有的环境。但当我们重新启动一个 Docker 时,环境又会变成初始化状态。我们可以利用 Docker 的这个特性,将软件在不同机器上进行部署、调度和管理。

    四、分布式系统的“纲”

      我们将分布式系统分为五个关键技术,它们就是分布式系统的纲要。

    • 全栈系统监控
    • 服务/资源调度
    • 流量调度
    • 状态/数据调度
    • 开发和运维的自动化

      开发和运维的自动化,需要先实现前四项。所以,最关键的是以下四项技术,它们是构建分布式系统最核心的东西:

      

  • 相关阅读:
    在线支付模块小结
    Tomcat服务器热启动,修改项目源代码时不需要每次都重启Tomcat
    使用myeclipse进行hibernate快速开发
    hibernate的核心类和接口
    Hibernate手动配置
    Java的字符串md5加密和文件md5
    JDBC操作mysql数据库(SqlHelper类封装)
    yum报错[Errno 14] PYCURL ERROR 22(更换yum源)
    Ajax技术
    手动配置开发struts项目
  • 原文地址:https://www.cnblogs.com/murongmochen/p/12080876.html
Copyright © 2020-2023  润新知