• 【一个idea】YesSql,一种在经典nosql数据库redis上实现SQL引擎的方案(我就要开历史的倒车)


    公众号链接

    最高级的红酒,一定要掺上雪碧才好喝。
    基于这样的品味,我设计出了一套在经典nosql数据库redis上实现SQL引擎的方法。既然redis号称nosql,而我偏要把SQL加到redis上,于是这个技术方案取名为【YesSql】。

    产品商标

    1.在redis上实现SQL查询的技术基础

    • redis上可以执行lua。整个SQL引擎就是在lua上解析SQL语句,执行,并返回结果。
    • lua有很好的正则表达式引擎,因此解析SQL语法变得简单。
    • redis提供map, zset这样的数据结构,很容易实现列存储
    • 关系数据库不也就是索引+遍历,核心逻辑完全能用lua来实现。

    2.实现细节

    2.1 create table

    • 假定我只支持number和string两种数据结构
    • 把整个按行组织的表看成由N个字段组成的列存储
      • 也就是说,字段的组织是: table_column -> map 或 zset
      • 用一个 table_rowid -> int 来产生一个rowid
      • map或者zset中的key使用rowid:
    ${table}_rowid -> int_value
    ${table}_${column1} -> map
      ${rowid1} -> column1 data of row 1
      ${rowid2} -> column1 data of row 2
    ${table}_${column2} -> map
      ${rowid1} -> column2 data of row 1
      ${rowid2} -> column2 data of row 2
    
    • 可以有唯一索引:
    ${table}_unique_index_1 -> map
        ${unique_key_1} -> rowid1
        ${unique_key_2} -> rowid
    
    • 可以有数值类型的排序索引:
    ${table}_number_index_1 -> zset
        $rowid1 -> number1
        $rowid2 -> number2
    
    • 所以:create table就是建立上面的KEY结构
    • 建表的语法大致如下:
    create table my_first_redis_table_1(
        column1 number,
        column2 string,
        column2 number
        unique index column2,
        number_index column3
    )
    

    2.2 insert

    • 插入时先要使用redis的INC指令得到一个新的rowid
    • 插入其实就是在${table}_${column}字段的下面增加二级KEY

    2.3 update

    • update可以指定rowid或者唯一索引中的字段
    • 如果where条件比较复杂,则只能遍历字段,并最终取多个rowid集合的交集
    • set中的字段,先找到rowid,然后根据rowid更新就好了

    2.3 delete

    • where条件中的搜索如同上面
    • 删除行就是逐个删除每个column key下面的rowid对应的二级KEY

    2.4 select

    这部分相对复杂,划分为不同的场景:

    2.4.1 from部分

    解析出表名是第一步的,然后就确定了KEY的前缀。

    2.4.2 where条件

    上面讲update和delete的where部分一笔带过了,具体有这样的一些场景:

    • 使用rowid=xxx或者rowid in ()的方式,比较简单
    • 使用unique_key=xxx或者unique_key in ()的方式,也比较简单,先通过唯一索引得到rowid,然后再根据rowid查询
    • 使用number_index的范围查询的情况,先使用ZRANGEBYSCORE找到多个rowid,然后再查询
    • 使用and/or/in及其其他字段上的表达式,无非也就是层层加过滤,知道最终确定rowid的集合

    2.4.3 select部分

    • 每选择一个列,就意味着要输出这个列的值给查询方
    • 字段上的表达式,也比较容易实现

    2.4.4 group by部分

    • 可以建立一个所有group by中字段名组合起来的临时KEY作为二级KEY的map
    例如:
    select column1, column2, count(1), sum(column3)
    from table
    group by column1, column2
    
    可以建立这样的KEY结构:
    temp_group_by_1 -> map
        ${column1_value}_${column2_value} -> rowid
    temp_group_by_1_stat1 -> map
        $rowid1 -> count_value
    temp_group_by_1_stat2 -> map
        $rowid1 -> sum_value
    

    2.4.5 having部分

    • having部分,也就是在上一步汇总好的基础上,对rowid指向的值做过滤。
    • 还有一个优化点:如果没有having字句,汇总采用map结构;有having字句,采用zset结构,直接根据范围做过滤

    2.4.6 join部分

    不再叙述,猜测不会有那么无聊的人真的希望用上这么一套SQL引擎。

    3.最后

    • 这是一个恶意的玩笑
    • 某种程度上可以作为一种思维训练,让我们知道SQL引擎可能是怎么去运行的
  • 相关阅读:
    轻轻松松教你写日志-超级简单
    JAVA实现KNN分类
    怎样给filter加入自己定义接口
    设计模式之Visitor模式(笔记)
    Leet Code OJ 237. Delete Node in a Linked List [Difficulty: Easy]
    在C#中怎样推断线程当前所处的状态
    leetCode 83.Remove Duplicates from Sorted List(删除排序链表的反复) 解题思路和方法
    谈谈源码管理那点事儿(一)——源码管理十诫(转)
    安装gi的时候回退root.sh的运行
    Android开发学习之路--异步消息Handler,Message,Looper和AsyncTask之初体验
  • 原文地址:https://www.cnblogs.com/ahfuzhang/p/12872145.html
Copyright © 2020-2023  润新知