• mysql分片


    mysql向外扩展(横向扩展或者水平扩展)策略主要有三方面:复制、拆分、数据分片;
    水平扩展的最简单的方式就是通过复制将数据分发到多个服务器上,然后将备库用于读查询。复制技术用于以读为主的服务效果最好;但是当数据规模比较大时,复制也有一些问题,例如主从同步间隔时间过长。
    数据拆分以及分配方式:
    1、按功能拆分
    按功能拆分或者职责拆分,就是不同的服务节点执行不同的任务,将独立的服务器或者节点分配给不同的应用,这样每个节点只包含它的特定应用所需的数据。
    缺点:如果一个功能区域的数据绑定到单个mysql节点,后续就只能对单个节点进行垂直扩展(扩展硬件类似的方式)。
    2、数据分片
    对于目前的扩展大型Mysql应用来说,数据分片是最通用且成功的方法,它把数据分割为一个小片或者一块,然后存储到不同的节点上。
    数据分片与按照功能划分联合使用时非常有用。大多数分片系统也有一些“全局的”数据不会进行划分(城市列表或者登陆数据等)。全局数据一般存储到单个节点上,并且会保存在NoSql类的内存数据库中以便加速访问。
    数据分片一般会对数据增长的非常庞大的数据进行分片。
    大多数应用可能存在多个不同的逻辑数据集,并且数据集的处理方式也会不同,可以将不同的数据集存储到不同服务器组上,然后以多种方式就行分片。
    可以通过用户Id对数据进行分片。
    采用数据分片的应用通常会有一个数据库访问抽象层,用以降低应用与数据库之间的通讯复杂度。
    3、选择分区键
    数据分片的最大挑战是查找和获取数据:如何查询数据取决于如何进行分片;
    分片的目标是针对于那些最重要并且频繁查询的数据减少分片,因为需要避免多个节点之间的交互。
    跨多个分片的查询比单个分片的查询性能要差,但是只要不涉及到过多的分片性能不会差太多。
    一个好的分区键通常是数据库中一个非常重要的实体主键,例如用于Id或者客户端ID等。
    确定分区键的一个比较好的办法是用实体-关系图,看是否可以根据分区键拆分出耦合关系简单的实体-关系图。
    选择分区键时尽量避免那些会进行跨分区查询的,但是也要让分片足够小,以避免过大的数据分片导致的问题。分区键要选择可以把数据平均分片到各个分区的键。
    4、多个分区键
    复杂的数据模型会使数据分片更加复杂。
    例如博客应用的数据按照用户ID和文章ID进行分片,因为使用两者查询数据比较平常,针对这种情况建议把用户ID和文章ID一起分片到一个分片中,避免跨分片查询。
    5、跨分片查询
    大多数应用或多或少会有一些跨分片查询的情况,例如对数据的进行聚合或者关联操作。
    跨分片查询可以利用汇总表来执行,可以遍历所有分片来生成汇总表并将结果在每个分片上进行冗余;如果每个分片都冗余汇总表太过浪费,可以把汇总表放到一个单独的数据存储中,这样就只需要一份存储了。
    跨分片查询并不是数据分片面临的唯一问题,维护数据一致性同样困难,外键无法在分片间工作,因此需要有应用来检查参考一致性,或者只在分片内使用外键,因为分片的内部一致性可能会很重要。
    6、分配数据、分片与节点
    分片与节点并不一定要一对一对应,最好是一个节点下存储多个分片;
    保持的分片足够小更容易管理,这会是数据的备份和恢复更容易;如果表很小,那么像更改表结构这样的操作会更加容易;
    小一点的分片也便于转移,这有助于重新分配容量,平衡各个节点的分片,转移分片的效率一般都不高。通常需要将受影响的分片设置为只读模式,提取数据,然后转移到另一个节点。
    7、在节点上部署分片
    一般的分为以下几种方式:
    • 每个分片使用单一数据库,并且数据库名要相同;这种方式在部署多个应用实例,并且每个应用实例对应一个分片时很有用;
    • 将多个分片的表放在一个数据库中,在每个表名上包含分片号,例如:db.book_0023、db.user_0023;这种配置下,单个数据库可以支持多个数据分片;
    • 为每个分片使用一个数据库,并在数据库中包含所有应用需要的表。在数据库名中包含分片号,例如:db0023.book、db0023.user;当应用链接到单个数据库并且不再查询中指定数据库名时,这种做法很常见,其优点就是无须为每个分片专门编写查询,也便于对只使用单个数据库的应用进行分片;
    • 每个分片使用一个数据库,并在数据库名和表名中包含分片名,例如:db0023.book_0023;
    • 在每个节点上运行多个Mysql实例,每个实例上有一个或者多个分片,可以使用上面提到的方式的任意组合来安排分片;
    为已有应用增加分片支持的结果往往是一个节点对应一个分片,这种简化的设计可以减少对应用查询的修改。
    8、固定分配
    将数据分配到分片中由两种主要的方式:固定分配与动态分配;两种方式都需要一个分区函数,使用行的分区键做为输入,返回存储该行的分片;
    固定分配使用的分区函数仅仅依赖于分区键的值;哈希函数或者取模运算就是很好的例子;优点是简单、开销低、甚至可以在应用中直接硬编码;
    固定分配的缺点:
    • 如果分片很大并且数量不多,就很难平衡不同分片的负载;
    • 固定分配的方式无法自定义数据放到哪个分片上;
    • 修改分片策略通常比较困难,因为需要重新分配已有的数据;
    正是由于以上的缺点,我们尽可能选择动态分配的方式;
    9、动态分配
    使用动态分配可以将每个数据单元映射到一个分片上;
    动态分配增加了分区函数的开销,因为需要额外调用一次外部资源,例如目录服务器(存储映射关系的数据存储节点)。
    动态分配的最大好处是可以对数据存储位置做细粒度的控制;这使得均衡分配数据到分片更容易,并且提供适应未知改变的灵活性;
    动态映射可以在简单的键-分片映射的基础上建立多层次的分片策略;
    使用动态分配策略可以生成不均衡的分片,对于不同服务器处理能力的不同,可以定制分配分片数据的大小;
    动态分配有助于减轻规模扩大而带来的跨分片查询问题,例如当一个跨分片查询需要跨4个节点时,如果使用固定分配时,任何给定的查询可能需要访问所有分片,但动态分配策略则可能只需要在问其中三个节点上运行同样的查询,当节点规模从4个增长到400个时,动态分配策略的优势就体现出来了,使用动态分配策略依然只访问3个,而固定分配则需要访问所有的节点;
    10、混合动态分配与固定分配
    可以混合使用动态分配和固定分配。
    11、显示分配
    第三种策略是在应用插入新的数据时显示的选择目标分片。这种策略在已有的数据上很难做到,所有在为应用增加分片时很少使用,但在某些情况下会很有用;
    显示分配的确定是分片方式固定,很难做到分片间的负载均衡;
    12、重新均衡分片数据
    可以通过分片间移动数据来实现负载均衡。
    重新均衡分片数据会影响用户使用,因此应该避免此操作;
    一个比较好的方式是使用动态分配策略,并将新数据随机分配到分片中,当一个分片快满时,可以设置一个标志位,告诉应用不要在往里放数据了。
    13、生成全局唯一ID
    当希望一个现有系统转换为分片数据存储时,经常会需要在多台机器上生成全局唯一主键ID;单一机器使用AUTO_INCREMENT列来获取唯一ID,但是涉及到多台机器时就不奏效了,有以下几种方式生成全局唯一主键ID:
    • 使用auto_increment_increment与auto_increment_offset这两个服务器变量可以让mysql以期望的值和偏移量来增加AUTO_INCREMENT列的值,例如,有两台服务,可以配置两台服务器的自增量为2,其中一台服务器的偏移量为1,另一台服务器的偏移量为2,这样一台服务器的ID为偶数,另一台服务器的ID为奇数;
    • 全局节点中创建表,在一个全局数据库节点中创建一个包含AUTO_INCREMENT列的表,应用可以通过这个表来生成唯一数字;
    • 使用NoSql中自动的递增函数,例如memcache或者redis的自动函数;
    • 批量分配数字,应用可以从一个全局节点请求一批数字,用完再申请;
    • 使用复合值,可以通过一个复合值来做唯一ID,例如分片号+自增数的组合;
    • 使用GUID
    收藏文章数量从多到少与“把书读薄”是一个道理
  • 相关阅读:
    Android录制视频添加水印的高效方案之YUV帧数据覆盖
    Android 数据库迁移--自定义数据类型
    Android Camera录制视频添加水印
    Android视频录制 花屏、绿屏的分析及解决方案
    Android Moudle封装SDK的步骤及注意事项总结
    Android音频流+视频流合成视频及提取音频流、视频流数据
    常见排序算法以及时间复杂度
    整合两个有序集合 时间复杂度最小为O(n)
    Android启动app步骤简介
    HihoCoder String Matching Content Length
  • 原文地址:https://www.cnblogs.com/use-D/p/9752019.html
Copyright © 2020-2023  润新知