八、缓存穿透

一、简介

请求去查询一条记录，先 redis 后 mysql 发现都查询不到该条记录，但是请求每次都会打到数据库上面去，导致后台数据库压力暴增，这种现象我们称为缓存穿透，这个redis变成了一个摆设。

危害：

第一次来查询后，一般我们有回写 redis 机制。第二次来查的时候 redis 就有了，偶尔出现穿透现象一般情况无关紧要。

要防止恶意攻击，用 redis 和 mysql 都不存在的数据，不断查询。

二、解决方案1：空对象缓存或者缺省值

黑客会对你的系统进行攻击，拿一个不存在的 id 去查询数据，会产生大量的请求到数据库去查询，可能会导致你的数据库由于压力过大而宕掉。

id相同打你系统。第一次打到mysql，空对象缓存后第二次就返回null了，避免mysql被攻击，不用再到数据库中去走一圈了。

id不同打你系统。由于存在空对象缓存和缓存回写（看自己业务不限死），redis中的无关紧要的key也会越写越多（记得设置redis过期时间）。

三、解决方案2：Google布隆过滤器Guava解决缓存穿透

Guava适合应用在单机项目。

1、pom文件

        <!--guava Google 开源的 Guava 中自带的布隆过滤器-->
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>23.0</version>
        </dependency>

2、HelloWorld级的demo

    @Test
    public void bloomFilter() {
        // 创建布隆过滤器对象
        BloomFilter<Integer> filter = BloomFilter.create(Funnels.integerFunnel(), 100);
        // 判断指定元素是否存在
        System.out.println(filter.mightContain(1));
        System.out.println(filter.mightContain(2));
        // 将元素添加进布隆过滤器
        filter.put(1);
        filter.put(2);
        System.out.println(filter.mightContain(1));
        System.out.println(filter.mightContain(2));
    }

3、100w数据的误判率的demo

public class BloomfilterDemo {
    public static final int _1W = 10000;
    //布隆过滤器里预计要插入多少数据
    public static int size = 100 * _1W;
    //误判率
    public static double fpp = 0.03;

    public static void main(String[] args) {
        // 构建布隆过滤器
        BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), size, fpp);
        //  1 先往布隆过滤器里面插入100万的样本数据
        for (int i = 0; i < size; i++) {
            bloomFilter.put(i);
        }
        //  故意取10万个不在过滤器里的值，看看有多少个会被认为在过滤器里
        List<Integer> list = new ArrayList<>(10 * _1W);
        for (int i = size + 1; i < size + 100000; i++) {
            if (bloomFilter.mightContain(i)) {
                System.out.println(i + "\t" + "被误判了.");
                list.add(i);
            }
        }
        System.out.println("误判的数量：" + list.size());
    }
}

输出：

...
1099707 被误判了.
1099850 被误判了.
1099882 被误判了.
1099947 被误判了.
误判的数量：3033

 4、误判率分析

 fpp=0.03，它越小误判的个输也就越少。这样是不是可以设置无限小？

源码底层会根据设置的误判率，不断添加hash函数和布隆过滤器的 bit 位。因此误判率设置的越小，内存开销越大，执行效率也越低，计算量急剧增大。0.03 是默认系数。

5、布隆过滤器常用方案

四、解决方案3：Redis布隆过滤器解决缓存穿透

为了Guava只能单机使用的这个问题，诞生了 Redis 中的布隆过滤器。

1、白名单demo

 

public class RedissonBloomFilterDemo {
    public static final int _1W = 10000;
    //布隆过滤器里预计要插入多少数据
    public static int size = 100 * _1W;
    //误判率,它越小误判的个数也就越少
    public static double fpp = 0.03;

    static RedissonClient redissonClient = null;
    static RBloomFilter rBloomFilter = null;

    static {
        Config config = new Config();
        config.useSingleServer().setAddress("redis://192.168.1.101:6379").setDatabase(0);
        //构造redisson
        redissonClient = Redisson.create(config);
        //通过redisson构造rBloomFilter
        rBloomFilter = redissonClient.getBloomFilter("phoneListBloomFilter", new StringCodec());

        rBloomFilter.tryInit(size, fpp);

        //  测试一、布隆过滤器有+redis有
        rBloomFilter.add("10086");
        redissonClient.getBucket("10086", new StringCodec()).set("chinamobile10086");

        //  测试二、隆过滤器有+redis无
        //rBloomFilter.add("10087");

        //  测试三、都没有

    }

    public static void main(String[] args) {
        String phoneListById = getPhoneListById("10086");
        System.out.println("------查询出来的结果： " + phoneListById);

        //暂停几秒钟线程
        try {
            TimeUnit.SECONDS.sleep(1);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        redissonClient.shutdown();
    }

    private static String getPhoneListById(String IDNumber) {
        String result = null;

        if (IDNumber == null) {
            return null;
        }
        //  1 先去布隆过滤器里面查询
        if (rBloomFilter.contains(IDNumber)) {
            //  2 布隆过滤器里有，再去redis里面查询
            RBucket<String> rBucket = redissonClient.getBucket(IDNumber, new StringCodec());
            result = rBucket.get();
            if (result != null) {
                return "i come from redis: " + result;
            } else {
                result = getPhoneListByMySQL(IDNumber);
                if (result == null) {
                    return null;
                }
                // 重新将数据更新回redis
                redissonClient.getBucket(IDNumber, new StringCodec()).set(result);
            }
            return "i come from mysql: " + result;
        }
        return result;
    }

    private static String getPhoneListByMySQL(String IDNumber) {
        return "chinamobile" + IDNumber;
    }
}