• 冷热数据分离思路


    分库:

    1、数据库分库而不是分表,分表需要考虑后期的查询问题,此外还需要注意分表的算法(哈希算法)。

    2、热数据只占全部数据的一部分,因此每次优先查询热库,以下情况才查询冷库

       -  当查询条件未命中(结果集为空)时,查询冷库。 
       -  当查询条件部分命中时,查询冷库。

    3、为了区分部分命中和全部命中,可以在热库中建一张R表存放每次查询冷库的查询条件和查询结果数量和查询结果的主键,每次查询热库时,对比相同查询条件的查询结果数量是否一致。一致,则本次查询结束。不一致,则需要到冷库中进行查询。

    4、更优方案:不一致的情况,只到冷库中查询未查到的数据。此时R表需要存放的不仅是查询结果数量,还有查询结果的所有主键。

    5、举例说明:100条中80条还是热数据 20条变成了冷数据,其实应该只是对冷数据库发起这20条数据的请求。此时需要将R表数据拿出来比对,只查一部分冷数据。

    6、热库=>冷库 : 查询和使用热数据时,将一段时间不再使用的热数据移到冷库。

    7、冷库=>热库 :查询冷库时,将本次查询的结果移到热库,附上最新查询日期。

    8、数据同步(每次查询进行或达到一定量级进行)

    9、关于命中的处理:制定查询条件字典 如 where a=? and b=? 这个条件的字典为 

      

    public static IDictionary<int,int> QueryKeyValues=new IDictionary<int,int>{
     (0,1),(1,2),(3,3)
    }

      先进行查询条件的字典命中处理=> 假设此时的查询方法为 queryFunction(int a,int b) 

      queryFunction(int a,int b) {}

     
    public object QueryFunction(int a,int b) {
        
       1.若 <a,b> 存在于 QueryKeyValues中则到R表中找出查询条件为<a,b>的IdString都有哪些 以此将Id分开存取
       2.获得IdString后 比对需要到冷库查询的List<string> singleId
       3.循环执行单条语句查询逻辑 SingleColdDBQuery(List<string> singleId)
    }
     

    分表:

    举个简单的例子,按数据的新旧分表

    eg:比如我现在有一个订单表,日均写入几万几十万数据进去,可以这样处理,存储数据的时候存储双份,order表存一份数据,order_history表同样也存一份数据,然后呢,order表弄一个定时任务,每天定期删除30天以上的数据(一般半夜删数据),一天无非几万条数据,性能影响几乎没有,不过量多的话,删除就要小心点,不然很容易就锁表,可以查一下一个月前的数据的区间范围(表的主键id范围),然后呢按区间删除,几千几千的删除(可以自行调节,保证 IOPS跟CUP别跑满就行),这样就能保证不会锁表;order_history表不做任何删除操作,只插入新的数据,保留最原始的数据。

    说一下表的查询,一个月以内的数据直接在order表查询就行,一个月以上的旧数据在history表查,order_history表的查询可以配合搜索引擎进行处理(比如阿里云的opensearch),每次查出对应的主键id(节省opensearch的流量,要钱的!),然后再去order_history根据主键查数据,这里底层封装好就行

  • 相关阅读:
    Redis5设计与源码分析 (第17章 HyperLogLog相关命令的实现)
    Redis5设计与源码分析 (第16章 GEO相关命令)
    ES5和ES6函数的this指向
    vue响应式原理 (响应式并不等于数据双向绑定,千万不要混淆)
    vue中data为什么是函数而不是对象
    vue-enum 前端常量 枚举工具
    Vue3 写业务逻辑不适合用TS(TypeScript)
    vue-property-decorator vue3 ts 用的装饰器
    github git clone下载加速 && npm install 下载加速
    vue3 如果用ts,导出时候要用 defineComponent,这俩是配对的,为了类型的审查正确
  • 原文地址:https://www.cnblogs.com/lyc94620/p/9648058.html
Copyright © 2020-2023  润新知