什么是分布式系统:
原来有一个20多万行代码的系统,现在拆分成20个小系统,每个小系统1万多行代码。原本代码之间都是直接基于spring调用,现在拆开来了,20个小系统部署在不同的机器上,得基于分布式服务框架(比如dubbo)搞一个rpc调用,接口与接口之间通过网络通信来请求和响应。
分布式系统可以大概分成两类。
1、底层的分布式系统。
比如hadoop hdfs(分布式存储系统)、hadoop mapreduce,spark(分布式计算系统)、storm(分布式流式计算系统)、elasticsearch(分布式搜索系统)、kafka(分布式发布订阅消息系统)等
2、分布式业务系统。
分布式业务系统就是比如说把原来用java开发的一个大块的系统,给拆分成多个子系统,多个子系统之间互相调用,形成一个整体的大系统。比如一个电商系统,一般会拆分成商品中心、购物车、订单中心、促销中心、支付中心、WMS、库存中心、物流中心等,每一个中心会做成独立一个子系统,独立部署,各个子系统之间互相调用,协同,组成一个大型的电商系统。前面大白话来解释什么是分布式系统说的也是分布式业务系统。
分布式
分布式的目的:
- 1.高可用:主机挂掉后,自动故障转移,使前端服务对用户无影响
- 2.读写分离:将主机读压力分流到从机上,可实现负载均衡,提高效率
分布式系统通信可采用面向消息的中间件ActiveMQ,RabbitMQ等
分布式计算可采用mapreduce
分布式存储是可用Hbase,redis,mongoDB
分布式监控可用zookeeper:核心是原子广播,这个机制保证了各个Server之间的同步,实现这个机制的协议叫Zap协议,有两种模式:恢复模式(选主)和广播模式(同步),服务启动或主机宕机时,采用恢复模式,选出主机,且大多数Server完成了和leader的状态同步以后,恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。
CAP原则又称CAP定理,指的是在一个分布式系统中,Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可得兼
- 一致性(C):在分布式系统中的所有数据备份,在同一时刻是否同样的值。(等同于所有节点访问同一份最新的数据副本)
- 可用性(A):在集群中一部分节点故障后,集群整体是否还能响应客户端的读写请求。(对数据更新具备高可用性)
- ● 分区容错性(P):以实际效果而言,分区相当于对通信的时限要求。系统如果不能在时限内达成数据一致性,就意味着发生了分区的情况,必须就当前操作在C和A之间做出选择。
主从复制用单向链表更稳定,master和slave在同一局域网内时连接更稳定