• 常用的分表分库方案


    什么是数据库的瓶颈?

      IO瓶颈和CPU瓶颈都会导致数据库的活跃连接数增加,临近数据库可承载活跃连接数的阀值,即可用的数据库连接少甚至无连接可用(崩溃)。

    如何应对IO瓶颈?

      ①磁盘读IO瓶颈,数据太多,数据库缓存放不下,每次查询会产生大量的IO导致查询速度低 -> 可考虑分库和垂直分表。

      ②网络IO瓶颈,请求数据过多,网络带宽不够 -> 可考虑分库。

    如何应对CPU瓶颈?

      ①SQL查询语句不当,非索引查询过多,导致CPU运算增加  -> 优化SQL。

      ②单标数据量过大,查询扫描行过多,SQL效率低 -> 水平分表

    什么是水平分库?

      水平分库是以字段为依据,根据一定的策略,将一个表中的数据拆分到多个库中。

      水平分库结果:

      • 每个库的结构一样
      • 每个库的数据不一样,没有交集
      • 所有库并集是全量数据

      使用场景:系统绝对并发量上来,分表难以根本上解决问题。分库后库多了,IO和CPU的压力得到成倍的缓解。

    什么是水平分表?

      水平分表,以字段为依据,按照一定的策略,将一个表中的数据拆分到多个表中。

      水平分表结果:

      • 每个表的结构一样
      • 每个表的数据不一样,没有交集
      • 所有表的并集是全量数据

      使用场景:系统绝对并发量没有上来,只是单标数据量太多,影响了SQL效率,加重了CPU负担(CPU瓶颈)。分表后,表的数据量少了,单次SQL执行效率高,减轻了CPU的负担。

     

    什么是垂直分库?

      垂直分库,是以表为依据,按照业务归属不同,将不同的表拆分到不同的库中。

      分库结果:

      • 每个库的结构不一样
      • 每个库的数据不一样,没有交集
      • 所有库的并集是全量数据

      使用场景:系统绝对并发量上来了,并且可以抽象出单独的业务模块。分库后库多了,IO和CPU的压力得到成倍的缓解。到这一步后基本可以服务化了。

    什么是垂直分表?

      垂直分表,以字段为依据,按照字段的活跃性,将表中的字段拆到不同的表中(主表和拓展表)。

      分表结果:

      • 每个表的结构不一样
      • 每个表的数据不一样,但每个表的字段至少有一列交集,用于关联数据
      • 所有表的并集是全量数据

      使用场景:系统的绝对并发量没有上来,表的记录不多,但是字段多,并且热点数据和非热点数据在一起,单行数据所需的存储空间大,查询时会去读磁盘数据产生大量的读IO,产生IO瓶颈。

      

     

    以上参考来自https://mp.weixin.qq.com/s/ZMBwLp8kNuFuylBOslPL4A

  • 相关阅读:
    云时代架构读后感
    余额宝技术架构读后感
    shiyan
    11111
    编写hdfs文件遇到的问题
    123
    啦啦啦
    Hadoop安装
    js根据银行卡号进行判断属于哪个银行并返回银行卡类型
    git 使用
  • 原文地址:https://www.cnblogs.com/smallzhen/p/12686426.html
Copyright © 2020-2023  润新知