【转载】redis优化

原文链接

批量操作优化：

• 在使用redis的时候，客户端通过socket向redis服务端发起请求后，等待服务端的返回结果。
• 客户端请求服务器一次就发送一个报文 -> 等待服务端的返回 -> 关闭连接
• 如果是100个请求、1000个请求，那就得请求100次、1000次
• 所以使用多个请求的时候使用管道来操作(如果管道打包的命令太多占用的内存也会越大，适量)

• 以下是使用3种方式进行的测试(循环写入1000次)：

  public static void main(String[] args) {
  
      long start = System.currentTimeMillis();
      for (int i = 0; i < 1000; i++) {
          template.opsForHash().put("user1", "status" + i, "value" + i);
      }
      System.out.println(System.currentTimeMillis() - start);
  
      start = System.currentTimeMillis();
      final byte[] rawKey = rawKey("user2");
      template.execute(new RedisCallback<Object>() {
  
          @Override
          public Object doInRedis(RedisConnection connection)
                  throws DataAccessException {
              for (int i = 0; i < 1000; i++) {
                  final byte[] rawHashKey = rawHashKey("status" + i);
                  final byte[] rawHashValue = rawHashValue("value" + i);
  
                  connection.hSet(rawKey, rawHashKey, rawHashValue);
              }
              return null;
          }
      });
      System.out.println(System.currentTimeMillis() - start);
  
      start = System.currentTimeMillis();
      final byte[] rawKey2 = rawKey("user3");
      template.execute(new RedisCallback<Object>() {
  
          @Override
          public Object doInRedis(RedisConnection connection)
                  throws DataAccessException {
              connection.openPipeline();
              for (int i = 0; i < 1000; i++) {
                  final byte[] rawHashKey = rawHashKey("status" + i);
                  final byte[] rawHashValue = rawHashValue("value" + i);
  
                  connection.hSet(rawKey2, rawHashKey, rawHashValue);
              }
              return connection.closePipeline();
          }
      });
      System.out.println(System.currentTimeMillis() - start);
  }

• 请求结果

  20:54:51.653 [main] DEBUG o.s.d.r.core.RedisConnectionUtils - Opening RedisConnection
  20:54:51.693 [main] DEBUG o.s.d.r.core.RedisConnectionUtils - Closing Redis Connection
  42283
  20:54:51.695 [main] DEBUG o.s.d.r.core.RedisConnectionUtils - Opening RedisConnection
  20:55:33.922 [main] DEBUG o.s.d.r.core.RedisConnectionUtils - Closing Redis Connection
  42228
  20:55:33.923 [main] DEBUG o.s.d.r.core.RedisConnectionUtils - Opening RedisConnection
  20:55:34.058 [main] DEBUG o.s.d.r.core.RedisConnectionUtils - Closing Redis Connection
  136

• 可以看出在使用管道打包发送请求所用的时间不到1s。而发送1000次请求所用的时间达到了42s。

从请求结果看到多次 Opening RedisConnection 和 Closing Redis Connection 的日志.

阅读源代码我们可以发现我们对redis的所有操作都是通过回调execute函数执行的，其代码如下：

public <T> T execute(RedisCallback<T> action, boolean exposeConnection) {  
    return execute(action, exposeConnection, false);  
}  
// execute实现如下：  
// org.springframework.data.redis.core.RedisTemplate<K, V> --- 最终实现  
public <T> T execute(RedisCallback<T> action, boolean exposeConnection, boolean pipeline) {  
    Assert.isTrue(initialized, "template not initialized; call afterPropertiesSet() before using it");  
    Assert.notNull(action, "Callback object must not be null");  
    RedisConnectionFactory factory = getConnectionFactory();  
    RedisConnection conn = null;  
    try {  
        if (enableTransactionSupport) {  
            // only bind resources in case of potential transaction synchronization  
            conn = RedisConnectionUtils.bindConnection(factory, enableTransactionSupport);  
        } else {  
            conn = RedisConnectionUtils.getConnection(factory);  
        }  
        boolean existingConnection = TransactionSynchronizationManager.hasResource(factory);  
        RedisConnection connToUse = preProcessConnection(conn, existingConnection);  
        boolean pipelineStatus = connToUse.isPipelined();  
        if (pipeline && !pipelineStatus) {  
            connToUse.openPipeline();  
        }  
        RedisConnection connToExpose = (exposeConnection ? connToUse : createRedisConnectionProxy(connToUse));  
        T result = action.doInRedis(connToExpose);  
        // close pipeline  
        if (pipeline && !pipelineStatus) {  
            connToUse.closePipeline();  
        }  
        // TODO: any other connection processing?  
        return postProcessResult(result, connToUse, existingConnection);  
    } finally {  
        if (!enableTransactionSupport) {  
            RedisConnectionUtils.releaseConnection(conn, factory);  
        }  
    }  
}  

这里面每次执行action.doInRedis(connToExpose)前都要调用RedisConnectionUtils.getConnection(factory);获得一个连接，进入RedisConnnectionUtils类中，getConnection(factory)最终调用的是doGetConnection(factory, true, false, enableTranactionSupport)这个函数。这个函数我们可以看下api文档，发现实际上并不是真的创建一个新的redis连接，它只是在connectFactory中获取一个连接，也就是从连接池中取出一个连接。当然如果connectFactory没有连接可用，此时如果allowCreate=true便会创建出一个新的连接，并且加入到connectFactory中。

基本上可以确定真实的情况是spring-data-redis已经帮我们封装了连接池管理，我们只需要调用一系列操作函数即可，这给操作redis带来了极大的方便。