Redis（八） LRU Cache

Redis（八）—— LRU Cache

在计算机中缓存可谓无所不在，无论还是应用还是操作系统中，为了性能都需要做缓存。然缓存必然与缓存算法息息相关，LRU就是其中之一。笔者在最先接触LRU是大学学习操作系统时的了解到的，至今已经非常模糊。在学习Redis时，又再次与其相遇，这里将这块内容好好梳理总结。

　　LRU（Least Recently Used）是缓存算法家族的一员——最近最少使用算法，类似的算法还有FIFO（先进先出）、LIFO（后进先出）等。因为缓存的选择一般都是用内存（RAM）或者计算机中的L1甚至L2高速缓存，无疑这些存储器都是有大小限制，使用的代价都非常高昂，不可能将所有需要缓存的数据都缓存起来，需要使用特定的算法，比如LRU将不常用的数据驱逐出缓存，以腾出更多的空间存储更有价值的数据。

　　上图引用wiki上描述LRU算法的图。其中A是最近最少被使用，所以当缓存E时，根据LRU的特征，驱逐A，存储E。

　　在LRU中最核心的部分是"最近最少"，所以必然需要对缓存数据的访问（读和写）做跟踪记录——即什么时候使用了什么数据！

　　本文先介绍Redis中的LRU特点，再介绍如何自实现一个LRU。

• Redis中的LRU
• 自实现LRU Cache
• Guava Cache

Redis中的LRU

1.内存限制

　　前文中介绍Redis是基于内存的K-V数据结构服务器。Redis在存储方面有内存容量限制。在Redis中通过maxmemory配置设置Redis可以使用的最大内存。如：

maxmemory 100mb

以上配置则限制Redis可以使用的最大内存为100M。当设置为0时，表示没有进行内存限制。

　　上述说到Redis的内存限制问题，如果Redis使用的内存达到限制，再进行写入操作，Redis该如何处理？
　　Redis中有很多驱逐策略——Eviction Policies，当内存达到限制时，Redis会使用其配置的策略对内存中的数据进行驱逐回收，释放内存空间，以便存储待写入的数据。

2.驱逐策略

Redis中有以下的内存策略可供选择

• noeviction：没有任何驱逐策略，当内存达到限制，如果执行的命令需要使用更多的内存，则直接返回错误；
• allkeys-lru：使用lru算法，即驱逐最近最少被使用的键，回收空间以便写入新的数据；
• volatile-lru：使用lru算法，即驱逐最近最少被使用的被设置过期的键，回收空间以便写入新的数据；
• allkeys-random：使用随机算法，即随机驱逐任意的键，回收空间以便写入新的数据
• volatile-random：使用随机算法，即随机驱逐被设置的过期键，回收空间以便写入新的数据；
• volatile-ttl：驱逐只有更短的有效期的被设置的过期键，回收空间以便写入新的数据；

其中volatile-lru、volatile-random和volatile-ttl策略驱逐，如果没有可驱逐的键，则结果和noeviction策略一样，都是返回错误。

Notes：
在Redis中的LRU算法并不是完全精确的LRU实现，只是近似的LRU算法——即通过采样一些键，然后从采样中按照LRU驱逐。如果要实现完全精确的LRU算法，势必需要跨越整个Redis内存进行统计，这样对性能就有折扣。在性能和LRU之间的trade off。
关于更多详细内容，请参考：Approximated LRU algorithm

自实现LRU Cache

上述介绍了Redis中对于内存限制实现其LRU策略，下面笔者综合平时所学，简单实现一个LRU Cache，加深对其理解。

实现LRU Cache的关键点在于：

1. Cache目的为了提高查找的性能，所以如何设计Cache的数据结构保证查找的算法复杂度比较低是关键；
2. LRU算法决定了必须要对Cache中的所有数据进行年龄追踪，即LRU中的数据的访问（读和写）都需要实时记录；

对于第一点，能够实现快速查找的数据结构Map是必选，映射表结构具有天然的快速查找的特点。
对于第二点，要么对每个元素维护一份访问信息——每个元素都有一个访问时间字段，要么以特定的顺序表示其访问信息——列表前后顺序表示访问时间排序。

基于以上分析，JDK中提供了Map和访问顺序的数据结构——LinkedHashMap。这里为了简单，基于LinkedHashMap实现。当然感兴趣还可以基于Map接口自实现，不过都是大同小异。
当然还可以使用第二点中的第一种方式，但是这样需要跨越整个缓存空间，遍历比较每个元素的访问时间，代价高昂。

先定义LRUCache的接口：

public interface LRUCache<K, V> {

    V put(K key, V value);

    V get(K key);

    int getCapacity();

    int getCurrentSize();
}

然后继承实现LinkedHashMap，在LinkedHashMap中有布尔accessOrder属性控制其顺序：true表示按照访问顺序，false表示按照插入顺序。 在构造LinkedHashMap时需要设置true，表示按照访问顺序进行迭代。

重写removeEldestEntry方法：如果当前缓存中的元素个数大于缓存的容量，则返回true，表示需要移除元素。

/**
 * 基于{@link LinkedHashMap}实现的LRU Cache，该缓存是非线程安全，需要caller保证同步。
 * 原理：
 * 1.LinkedHashMap中使用双向循环链表的顺序有两种，其中访问顺序表示最近最少未被访问的顺序
 * 2.基于HashMap，所以get的算法复杂度O(1)
 *
 * @author huaijin
 */
public final class LRUCacheBaseLinkedHashMap<K, V>
        extends LinkedHashMap<K, V> implements LRUCache<K, V>{

    private static final int DEFAULT_CAPACITY = 16;
    private static final float DEFAULT_LOAD_FACTOR = 0.75F;

    /**
     * 缓存大小
     */
    private int capacity;


    public LRUCacheBaseLinkedHashMap() {
        this(DEFAULT_CAPACITY);
    }

    public LRUCacheBaseLinkedHashMap(int capacity) {
        this(capacity, DEFAULT_LOAD_FACTOR);
    }

    public LRUCacheBaseLinkedHashMap(int capacity, float loadFactor) {
        super(capacity, loadFactor, true);
        this.capacity = capacity;
    }

    @Override
    protected boolean removeEldestEntry(Map.Entry<K, V> eldest) {
        return size() > capacity;
    }

    @Override
    public V put(K key, V value) {
        Objects.requireNonNull(key, "key must not be null.");
        Objects.requireNonNull(value, "value must not be null.");
        return super.put(key, value);
    }

    @Override
    public String toString() {
        List<String> sb = new ArrayList<>();
        Set<Map.Entry<K, V>> entries = entrySet();
        for (Map.Entry<K, V> entry : entries) {
            sb.add(entry.getKey().toString() + ":" + entry.getValue().toString());
        }
        return String.join("  ", sb);
    }

    @Override
    public int getCapacity() {
        return capacity;
    }

    @Override
    public int getCurrentSize() {
        return size();
    }
}

如果对LinkedHashMap不是很熟悉，请移步至Map 综述（二）：彻头彻尾理解 LinkedHashMap

Guava Cache

对于使用Cache而言，Guava工具库中的Guava Cache是一个非常不错的选择。其优势在于：

• 适用性：缓存在很多场景中都适用，无论是大到操作系统、数据库、浏览器和大型网站等等，小到平时开发的小型应用、移动app等等；
• 多样性：Guava Cache提供多种方式载入数据至缓存；
• 可驱逐：内存资源是宝贵的，这点无可否认！所以缓存数据需要置换策略，Guava Cache从多种维度提供了不同的策略；

详细情况可以参考：Caches。在Guava Cache中的驱逐策略有基于大小的策略，该策略就是LRU的实现：

Cache<String, String> guavaCache = CacheBuilder.newBuilder()
        .maximumSize(5)
        .build();

当Cache的容量达到5个时，如果再往缓存中写入数据，Cache将淘汰最近最少被使用的数据。

测试如下案例如下：

@Test
public void testLRUGuavaCacheBaseSize() throws ExecutionException {
    Cache<String, String> guavaCache = CacheBuilder.newBuilder()
            .maximumSize(5)
            .build();
    guavaCache.put("1", "1");
    guavaCache.put("2", "2");
    guavaCache.put("3", "3");
    guavaCache.put("4", "4");
    guavaCache.put("5", "5");
    printGuavaCache("原cache：", guavaCache);
    guavaCache.getIfPresent("1");
    guavaCache.put("6", "6");
    printGuavaCache("put一次后cache：", guavaCache);
}

执行结果：

原cache：2:2  3:3  1:1  5:5  4:4
put一次后cache：6:6  3:3  1:1  5:5  4:4

因为数据1被get一次，导致2是最近最少被使用，当put 6时，将2淘汰驱逐。

总结

　　缓存目的就是为了提高访问速度以带来性能上质的提升。但是缓存的容量和命中率却是从反比。
　　基于内存存储数据，无论应用本地缓存，还是分布式缓存服务器甚至操作系统，都需要考虑存储容量的限制对命中率的影响。采用合适缓存算法，对提高缓存命中率至为关键。