一、传统数据库回顾
1.以学生成绩管理系统为例，对环境进行假设
1）老师和学生的要求
-
-
- 正确的查询结果
- 最快查询速度
-
2）录入员的要求
-
-
-
正确记录分数
-
多人同时记录
-
录入数据不能丢失
-
-
3）输入和输出的协调
-
-
- 查询分数时不能查询一半
-
2.如何满足上述特性（ACID）
1）原子性
-
-
- 当一个学生成绩被录入的时候，要么是完全的被录入，要不然就是完全不被录入
-
2）一致性
-
-
- 指事物的一致性，比如学生交学费，从学生账户有扣款，学校账户就必须有进账，并且两者数量一致，避免出现因异常导致扣款逻辑完成，但是到账逻辑没有完成的情况，要么全部成功，要么全部失败。
-
3）隔离性
-
-
- 多个录入员可以同时录入多个不同学生的成绩，而互相之间不冲突
-
4）持久性
-
-
- 当成绩被正确录入到系统之后，发生系统崩溃，吊链之类的问题，数据库仍然可以在恢复后正常运作。
-
3.数据量变大后的新问题（以全国统考为例）
1）因为数据量较大，所以没有办法存放在同一台机器上面。
2）当数据量变大，并发量也会增大，单库不支持大量并发，所以差不了。
3）如果数据很重要，集中的数据库出现中间数据丢失，整个系统会陷入不可用的情况，会出现较大的风险。
二、分布式数据库概述
1）集中式数据库缺点
-
-
-
通信开销大：
- 录入的客户端存在于全国各地，而集中式数据库只能存在于一个地方
-
系统可靠性：
- 集中式数据库所有数据都存在于一个点上，记录点的故障就会导致整个系统停止运作。
-
性能差：
- 随着数据量变大，录入的客户端变多，存储系统本身的性能就会成为瓶颈。
-
可扩展性：
- 随着录入客户端的变多，集中式数据库的数据节点会发生严重的新能问题，而 有单机系统的磁盘，CPU,内存没办法无限制的扩展，所以集中式数据库的扩展就是一个严重问题。
-
设计管理困难：
- 当出现新的业务时，对数据库的逻辑会变得越来越复杂。
-
-
2）分布式和分散式数据库的区别
-
-
-
相同点
- 数据都分散在不同的存储位置，可解决集中式数据库遇到的可扩展性问题。
-
不同点
- 逻辑的整体性
-
分布式数据库基本要求
-
数据分布性
-
数据统一性
-
数据透明性
-
数据安全性
-
可扩展性
-
数据自治性
-
-
-
3）分布式数据库系统的定义
-
-
-
两个重点
- 保证逻辑一致性
- 保证数据分不到不同区域
-
两个要点
-
每个地域节点是拥有集中式数据库的计算机系统
-
每个节点都是由通信网络连接起来的节点集合
-
-
两个特性
-
透明性
-
逻辑统一
-
-
-
4）分布式系统的优点
-
-
-
灵活性更高
-
成本优势
-
可靠性和可用性更高
-
局部响应速度快
-
-
5）分布式系统的缺点
-
-
- 通信开销大
- 跨节点逻辑实现复杂
- 数据保密性相对较弱
-
三、分布式数据库系统的分类以及体系架构
1.数据库系统的分类
1）同质同构数据库
2）同质异构数据库
3）异构数据库（关系数据库+文档数据库+搜索引擎）
2.体系架构
1）数据分片
-
-
-
水平分片
- 实现方式：按行拆分
- 特点：数据结构一致，字段类型和字段类型是一样的。
- 图示
-
-
-
-
-
垂直分片
- 实现方式：一张表的数据按字段拆分成多个表，比如将频繁更新的字段和不频繁更新的字段分开，大的字段和小的字段进行分开。
- 特点：需要一个冗余主键来维持数据一致性。
- 主要目的：减少更新对磁盘造成的影响
- 图示：
-
-
-
-
-
混合分片
-
-
2）体系架构
-
-
-
数据分片
- 完备性：所有的数据被分配到不同的节点，所有节点的总和必须包含完整信息。
- 重构条件：把数据分配到不同的节点后，一定要有线索将数据通过固定的方法，合并成完整的数据。
- 不相交条件：一个商品不会同时出现在两个不同的地区
-
-
3）数据分配
-
-
-
分割分配
- 定义：将数据都分散到不同的节点，并且每一个节点之间的数据都是不互相重复的。所有数据的综合是数据的全集。
- 图示
-
-
-
-
-
全复制分配
- 定义：每个节点都拥有全量的数据，不同节点的数据都是完全相同的。为了平衡读的压力，而写并没有出现压力的情况下所采取的措施。
- 图示
-
-
-
-
-
混合结构
- 定义：对于分散在全国各地的各个省而言，使用分割分配，而在每一个省内，为了保证数据的安全性和高可靠性，采用全复制分配。
- 图示
-
-
四、分布式数据库组件
1.分布式数据库系统基本要求
1）逻辑统一性
2）入口统一性
3）全局数据字典
-
-
- 维护数据分片规则
- 网络状态
- 完整性约束
- 存储路径
- 存储权限
- 数据的全局一致性
- 当执行死锁检测时存储锁信息
- 实时事物状态
- 事物统计信息
- 数据变更状态
- 事物运行状态
-
4）全局数据管理系统
-
-
- 协调全局事务执行
- 并发控制
- 防死锁
- 全局提交/恢复
-
5）局部数据管理系统
-
-
- 接受全局管理系统的命令
- 做本地的数据处理
- 查询
- 更新
- 存储
- 返回结果
- 分布式事物的启动，提交，回滚接口
- 崩溃恢复的全局协调
-
6）局部数据管理系统
-
-
- 管理全局与局部管理系统之间的通信协议
- 每个分片之间的通信
-
2.数据库组件的基本功能
1）分布式事务处理
五、分布式数据库查询
1.单节点查询
1）过程
-
-
- 全局管理系统将请求分配到单一的节点，在单一节点上执行查询，直接返回结果。
-
2）图示
2.多节点查询
1）业务需求
-
-
- 大量的查询需要通过从不同的节点取得数据，需要依赖多个节点的数据，对于这类查询，为了保证最快的速度和对系统最小的消耗，工程上会做不同的处理。
-
2）图示
3）处理方式
-
-
-
查询下发
- 条件：每个数据节点可以单独计算出一部分结果
- 以计算商品总数为例，这种 请求被下发到每一个节点，而每一个节点只需要返回一个数字，而集中管理系统只需要做一个总和就可以完成。
-
-
-
-
-
结合不同节点间的数据
- 要求：将数据从各个分界点先汇总到一起，然后再进行计算。
- 技术难点：由于分布式数据库系统的数据往往比较大，汇总到一起回造成性能上的瓶颈。
- 解决方案：全局管理系统对查询做改写，获取最小的数据分片，不同节点拿到符合条件的数据后进行汇总
- 汇总方案：
- 汇总到统一的节点：
- 比如说取销售了排名前10 的商品，就可以让每个独立的节点取自己的部分数据，然后合并到全局管理系统的中心节点，做统一的逻辑处理，对于数据量较大是不可行的，因为需要占用大量的带宽，也会占据全局管理系统大量的CPU。
- 把数据做横向广播：
- 汇总到统一的节点：
-
-