• 六、布隆过滤器 BloomFilter


    一、简介

    由一个初值都为零的bit数组和多个哈希函数构成,用来快速判断某个数据是否存在。布隆过滤器是一种类似set的数据结构,只是统计结果不太准确

    为什么存在误差?因为底层由hash函数计算就避免不了“哈希冲突”,采用多个hash函数可以尽量减少误差。

    二、特点

    1、高效地插入和查询,占用空间少返回的结果是不确定性的

    2、一个元素如果判断结果为存在的时候元素不一定存在,但是判断结果为不存在的时候则一定不存在。

    3、布隆过滤器可以添加元素,但是不能删除元素。因为删掉元素会导致误判率增加。

    4、误判只会发生在过滤器没有添加过的元素,对于添加过的元素不会发生误判。

    结论:

    • 有,是可能有。
    • 无,是肯定无。

    三、常见使用场景

    1、解决缓存穿透的问题

    缓存穿透是什么?
    一般情况下,先查询缓存redis是否有该条数据,缓存中没有时,再查询数据库。当数据库也不存在该条数据时,每次查询都要访问数据库,这就是缓存穿透。
    缓存透带来的问题是,当有大量请求查询数据库不存在的数据时,就会给数据库带来压力,甚至会拖垮数据库。

    可以使用布隆过滤器解决缓存穿透的问题!
    把已存在数据的key存在布隆过滤器中,相当于redis前面挡着一个布隆过滤器。当有新的请求时,先到布隆过滤器中查询是否存在:

    • 如果布隆过滤器中不存在,该条数据则直接返回。
    • 如果布隆过滤器中已存在,才去查询缓存redis,如果redis里没查询到则穿透到Mysql数据库。

    2、黑名单校验

    发现存在黑名单中的,就执行特定操作。比如:识别垃圾邮件,只要是邮箱在黑名单中的邮件,就识别为垃圾邮件。

    假设黑名单的数量是数以亿计的,存放起来就是非常耗费存储空间的,布隆过滤器则是一个较好的解决方案:把所有黑名单都放在布隆过滤器中,在收到邮件时,判断邮件地址是否在布隆过滤器中即可。

    四、布隆过滤器原理

     1、Java中传统hash

    哈希函数的概念是:将任意大小的输入数据转换成特定大小的输出数据的函数,转换后的数据称为哈希值或哈希编码,也叫散列值。

    如果两个散列值是不相同的(根据同一函数),那么这两个散列值的原始输入也是不相同的。这个特性是散列函数具有确定性的结果,具有这种性质的散列函数称为单向散列函数

    散列函数的输入和输出不是唯一对应关系的,如果两个散列值相同,两个输入值很可能是相同的,但也可能不同,这种情况称为“散列碰撞(collision)”或“哈希冲突”

    用 hash表存储大数据量时,空间效率还是很低,当只有一个 hash 函数时,还很容易发生哈希碰撞。

    Java的hash冲突的demo:

    
    
    public static void main(String[] args) {
    System.out.println("Aa".hashCode());
    System.out.println("BB".hashCode());

    System.out.println("=============== 我是分割线 ===============");

    Set<Integer> hashCodeSet = new HashSet<>();
    for (int i = 0; i < 200000; i++) {
    int hashCode = new Object().hashCode();
    if (hashCodeSet.contains(hashCode)) {
    System.out.println("出现了重复的hashcode: " + hashCode + ",运行到 " + i + " 次");
    }
    hashCodeSet.add(hashCode);
    }
    }

    输出:  

    2112
    2112
    =============== 我是分割线 ===============
    出现了重复的hashcode: 2134400190,运行到 105754 次
    出现了重复的hashcode: 651156501,运行到 111201 次
    出现了重复的hashcode: 1867750575,运行到 121862 次
    出现了重复的hashcode: 2038112324,运行到 145385 次
    出现了重复的hashcode: 1164664992,运行到 146318 次
    出现了重复的hashcode: 273791087,运行到 152298 次
    出现了重复的hashcode: 996371445,运行到 180910 次
    出现了重复的hashcode: 254720071,运行到 184223 次
    出现了重复的hashcode: 1872358815,运行到 186851 次

     2、布隆过滤器实现原理和数据结构

    添加key时,使用多个hash函数对key进行hash运算得到一个整数索引值,对位数组长度进行取模运算得到一个位置,每个hash函数都会得到一个不同的位置,将这几个位置都置1就完成了add操作。

    查询key时,只要有其中一位是零就表示这个key不存在,但如果都是1,则不一定存在对应的key。

     当有变量被加入集合时,通过N个映射函数将这个变量映射成位图中的N个点,把它们置为 1(假定有两个变量都通过 3 个映射函数)。

     查询某个变量的时候我们只要看看这些点是不是都是 1, 就可以大概率知道集合中有没有它了:

    • 如果都是 1,则被查询变量很可能存在。(为什么说是可能存在,而不是一定存在呢?那是因为映射函数本身就是散列函数,散列函数是会有碰撞的。)
    • 如果有一位是0,则被查询变量一定不在。

    正是基于布隆过滤器的快速检测特性,我们可以在把数据写入数据库时,使用布隆过滤器做个标记。当缓存缺失后,应用查询数据库时,可以通过查询布隆过滤器快速判断数据是否存在。如果不存在,就不用再去数据库中查询了。这样一来,即使发生缓存穿透了,大量请求只会查询Redis和布隆过滤器,而不会积压到数据库,也就不会影响数据库的正常运行。布隆过滤器可以使用Redis实现,本身就能承担较大的并发访问压力。

    3、执行的三个步骤

    (1)初始化

    布隆过滤器本质上是由长度为 m 的位向量或位列表(仅包含 0 或 1 位值的列表)组成,最初所有的值均设置为 0。

    (2)添加

    当我们向布隆过滤器中添加数据时,为了尽量地址不冲突,会使用多个 hash 函数对 key 进行运算,算得一个下标索引值,然后对位数组长度进行取模运算得到一个位置,每个 hash 函数都会算得一个不同的位置。再把位数组的这几个位置都置为 1 就完成了 add 操作。

     

    (3)判断是否存在

    因为这些位置的 1 可能是因为其他的 key 存在导致的,也就是前面说过的hash冲突。

    就比如我们在 add 了字符串wmyskxz数据之后,很明显下面1/3/5 这几个位置的 1 是因为第一次添加的 wmyskxz 而导致的。

    此时我们查询一个没添加过的不存在的字符串inexistent-key,它有可能计算后坑位也是1/3/5 ,这就是误判。

     4、为什么不能删除元素

    布隆过滤器的误判是指多个输入经过哈希之后在相同的 bit位 置1,这样就无法判断究竟是哪个输入产生的,因此误判的根源在于相同的 bit 位被多次映射且置 1

    这种情况也造成了布隆过滤器的删除问题,因为布隆过滤器的每一个 bit 并不是独占的,很有可能多个元素共享了某一位。如果我们直接删除这一位的话,会影响其他的元素

    5、总结

    (1)是否存在

    • 有,是很可能有
    • 无,是肯定无

    (2)使用时最好不要让实际元素数量远大于初始化数量

    (3)当实际元素数量超过初始化数量时,应该对布隆过滤器进行重建,重新分配一个 size 更大的过滤器,再将所有的历史元素批量 add 进行

    五、布隆过滤器优缺点

    1、优点

    (1)高效地插入和查询,占用空间少

    2、缺点

    (1)不能删除元素。因为删掉元素会导致误判率增加,因为hash冲突同一个位置可能存的东西是多个共有的,你删除一个元素的同时可能也把其它的删除了。

    (2)存在误判。不同的数据可能出来相同的hash值。

    六、布谷鸟过滤器

    为了解决布隆过滤器不能删除元素的问题,布谷鸟过滤器横空出世。论文《Cuckoo Filter:Better Than Bloom》

    作者将布谷鸟过滤器和布隆过滤器进行了深入的对比。

    相比布谷鸟过滤器而言布隆过滤器有以下不足

    • 查询性能弱
    • 空间利用效率低
    • 不支持反向操作(删除)
    • 不支持计数
  • 相关阅读:
    介绍一款jquery ui组件gijgo(含tree树状结构、grid表格),特点:简易、文档全清晰易懂、示例代码
    【未完待续】API接口
    表单中Readonly和Disabled的区别:readonly在get和post可传值到后端,disabled不可
    Newtonsoft.Json 转换DateTime类型为字符串时,串内部会有一个T。解决方案
    一种历史详细记录表,完整实现:CommonOperateLog 详细记录某用户、某时间、对某表、某主键、某字段的修改(新旧值
    js return falsee.preventDefault() 以及session
    bootstrape学习
    Redis的PHP操作手册
    PHP表单常用正则表达式(URL、HTTP、手机、邮箱等)
    大型网站架构演化
  • 原文地址:https://www.cnblogs.com/shiblog/p/15825487.html
Copyright © 2020-2023  润新知