• mysql在海量数据时的处理方案


    1.分区

    2.缓存

    3.一主多从分离读多写少的压力

    4.写的压力:分库分表

    4.1分分表

    水平切分:

    数据库的垂直切分:按照 表功能和数据关联密切程度;表太多造成的海量数据考虑按业务逻辑划分;能缓解数据量和访问量造成的问题但不能根治;

    表的垂直切分:可以分到多库中,不遵守范式

    表的水平切分:解决单表数据量太大的问题、提高了稳定性和负载能力、应用端改造少

    无论那种切分缺点都有分布式事务、节点join、跨节点合并排序分页、多数据源管理问题

    5.中间件

    1.作用:解析sql、读写分离、从库读的负载均衡、支持分库分表操作、支持垮裤关联、支持事务、主键ID生成、多数据源管理

    2.类型:客户端模式(sharding-jdbc TDDL)、服务端代理模式(mycat cobar atlas heinsberge vitess kingshard)

    6.分片优点

    1.减少增量数据写入时的锁对查询的影响,减少长时间查询造成的表锁、锁竞争、排队时间开支

    2.单表查询的基数变小、io减少、时延变短

    7.实际粒度的掌控

    业务紧密程度和表的数据量

    7.1 表关系紧密且数据量不大、增速缓慢,则放在一起,无需水平切分;

    7.2若划归到一起的表增速迅猛 则需要分库再分表

    垂直分表:按照业务功能的使用频次,分成主次表

    8.拆分原则

    8.1能不拆就不拆

    8.2提前规划好切分规则

    8.3通过数据冗余或表分组来降低跨库join的可能

    8.4数据库中间件对join的高性能操作实现难度大,所以尽量少用join

  • 相关阅读:
    vmware克隆Centos6.4虚拟机网卡无法启动问题
    mysql错误:Statement violates GTID consistency
    /etc/vsftpd.conf详解
    Linux /etc/fstab文件
    sudo命令详解
    linux fack 文件系统修复命令
    ORA-01502: 索引或这类索引的分区处于不可用状态
    Oracle 完整性约束错误
    linux下部署redis
    Python 发送邮件案例
  • 原文地址:https://www.cnblogs.com/hzq3554055/p/12000980.html
Copyright © 2020-2023  润新知