• 互联网公司为啥不使用mysql分区表?


    转:http://www.cnblogs.com/zhulin516114/p/7306708.html

    缘起:有个朋友问我分区表在58的应用,我回答不出来,在我印象中,百度、58都没有听说有分区表相关的应用,业内进行一些技术交流的时候也更多的是自己分库分表,而不是使用分区表。于是去网上查了一下,并询问了58到家的DBA专家,将自己收到的信息沉淀下来,share给大伙。

     

    解决什么问题?

    回答:当mysql单表的数据库过大时,数据库的访问速度会下降,“数据量大”问题的常见解决方案是“水平切分”。

     

    mysql常见的水平切分方式有哪些?

    回答:分库分表,分区表

     

    什么是mysql的分库分表?

    回答:把一个很大的库(表)的数据分到几个库(表)中,每个库(表)的结构都相同,但他们可能分布在不同的mysql实例,甚至不同的物理机器上,以达到降低单库(表)数据量,提高访问性能的目的。

    分库分表往往是业务层实施的,分库分表后,为了满足某些特定业务功能,往往需要rd修改代码。

     

    什么是mysql的分区表?

    回答:所有数据还在一个表中,但物理存储根据一定的规则放在不同的文件中。这个是mysql支持的功能,业务rd代码无需改动。

     

    看上去分区表很帅气,为什么大部分互联网还是更多的选择自己分库分表来水平扩展咧?

    回答:

    1)分区表,分区键设计不太灵活,如果不走分区键,很容易出现全表锁

    2)一旦数据量并发量上来,如果在分区表实施关联,就是一个灾难

    3)自己分库分表,自己掌控业务场景与访问模式,可控。分区表,研发写了一个sql,都不确定mysql是怎么玩的,不太可控

    4)运维的坑,嘿嘿

    5)…

     

    文章很短,一分钟搞定,希望大家有收获,有任何疑问欢迎提出,我不懂的再去问DBA专家。如果大家有分区表的应用,踩了什么坑,亦可回复,我下一篇文章share出来。

     

    埋坑:如何来进行水平切分,分库分表?如果大伙感兴趣,后续和大家聊更多的数据库架构。

     

    user(uid, name, passwd)

    扩展到user(uid, name, passwd, age, sex)为例

     

    基本原理是:

    (1)先创建一个扩充字段后的新表user_new(uid, name, passwd, age, sex)

    (2)在原表user上创建三个触发器,对原表user进行的所有insert/delete/update操作,都会对新表user_new进行相同的操作

    (3)分批将原表user中的数据insert到新表user_new,直至数据迁移完成

    (4)删掉触发器,把原表移走(默认是drop掉)

    (5)把新表user_new重命名(rename)成原表user

    扩充字段完成。

     

    优点:整个过程不需要锁表,可以持续对外提供服务

     

    操作过程中需要注意

    (1)变更过程中,最重要的是冲突的处理,一条原则,以触发器的新数据为准,这就要求被迁移的表必须有主键(这个要求基本都满足)

    (2)变更过程中,写操作需要建立触发器,所以如果原表已经有很多触发器,方案就不行(互联网大数据高并发的在线业务,一般都禁止使用触发器)

    (3)触发器的建立,会影响原表的性能,所以这个操作建议在流量低峰期进行

     

    pt-online-schema-change是DBA必备的利器,比较成熟,在互联网公司使用广泛。

  • 相关阅读:
    【转载】总结一下Android中主题(Theme)的正确玩法
    Android获唯一标识
    AS问题解决系列3—iCCP: Not recognizing known sRGB profile
    AS问题解决系列1—Unable to execute DX错误
    Android Studio Error2
    Android Error
    NAT简单介绍
    redis缓存工具Jedis进行跨jvm加锁(分布式应用)--不幸暂弃用--能够做第三方锁使用
    工作总结1.怎样高效跟客户确定需求?
    Sqoop处理Clob与Blob字段
  • 原文地址:https://www.cnblogs.com/yycc/p/7325047.html
Copyright © 2020-2023  润新知