前言
一级缓存是基于SqlSession的,二级缓存则是基于mapper文件的namespace的,也就是说多个SqlSession可以共享一个mapper中的二级缓存区域,并且如果两个mapper的namespace相同,即使是两个mapper,那么这两个mapper中执行sql查询到的数据也将存在相同
的二级缓存区域中。
如何使用二级缓存
1)开启二级缓存
一级缓存默认开启,而二级缓存是需要手动开启的。
首先,在全局配置文件sqlMapConfig.xml中加入如下代码:
<settings> <setting name="cacheEnabled" value="true"/> </settings>
其次,在映射文件mapper.xml中开启二级缓存:
<cache></cache>
2)使用到缓存的pojo需要实现Serializable接口
我们可以看到mapper.xml中就这么一个空标签,其实这里可以配置PerpetualCache这个类是mybatis默认实现缓存功能的类。我们不写type属性其实就是使用mybatis默认的缓存,也可以实现Cache接口自定义缓存。
/** * 永不过期的 Cache 实现类,基于 HashMap 实现类 * * @author Clinton Begin */ public class PerpetualCache implements Cache { /** * 标识 */ private final String id; /** * 缓存容器 */ private Map<Object, Object> cache = new HashMap<>(); ... }
从PerpetualCache的源码可见,二级缓存底层同一级缓存一样,还是HashMap。
开启了二级缓存之后,还需要将要缓存的pojo实现Serializable接口,为了将缓存数据取出执行放序列化操作,因为二级缓存数据的存储介质多种多样,不一定只存在内存中,有可能存在硬盘中,如果我们要再取这个缓存的话,就需要反序列化了。所以mybatis中的pojo
都要实现Serializable接口。
3)测试一下二级缓存的机制
1、测试二级缓存和SqlSession无关
@Test public void test7() throws IOException { InputStream inputStream = Resources.getResourceAsStream("sqlMapConfig.xml"); SqlSessionFactory factory = new SqlSessionFactoryBuilder().build(inputStream); //根据 sqlSessionFactory 产⽣ session SqlSession sqlSession1 = factory.openSession(); SqlSession sqlSession2 = factory.openSession(); IUserMapper userMapper1 = sqlSession1.getMapper(IUserMapper.class); IUserMapper userMapper2 = sqlSession2.getMapper(IUserMapper.class); //第⼀次查询,发出sql语句,并将查询的结果放⼊缓存中 User u1 = userMapper1.findById(1); System.out.println(u1); //第⼀次查询完后关闭 sqlSession sqlSession1.close(); //第⼆次查询,即使sqlSession1已经关闭了,这次查询依然不发出sql语句 User u2 = userMapper2.findById(1); System.out.println(u2); sqlSession2.close(); }
可以看出虽然第一个SqlSession执行完查询后关闭了,但是第二个SqlSession查询依然不发出sql查询语句。
2、测试执行commit操作,二级缓存数据清空
@Test public void test8() throws IOException { InputStream inputStream = Resources.getResourceAsStream("sqlMapConfig.xml"); SqlSessionFactory factory = new SqlSessionFactoryBuilder().build(inputStream); //根据 sqlSessionFactory 产⽣ session SqlSession sqlSession1 = factory.openSession(); SqlSession sqlSession2 = factory.openSession(); SqlSession sqlSession3 = factory.openSession(); IUserMapper userMapper1 = sqlSession1.getMapper(IUserMapper.class); IUserMapper userMapper2 = sqlSession2.getMapper(IUserMapper.class); IUserMapper userMapper3 = sqlSession2.getMapper(IUserMapper.class); //第⼀次查询,发出sql语句,并将查询的结果放⼊缓存中 User u1 = userMapper1.findById(1); System.out.println(u1); //第⼀次查询完后关闭sqlSession sqlSession1.close(); //执⾏更新操作,commit() u1.setUsername("aaa"); userMapper3.updateById(u1); sqlSession3.commit(); //第⼆次查询,由于上次更新操作,缓存数据已经清空(防⽌数据脏读),这⾥必须再次发出sql语 User u2 = userMapper2.findById(1); System.out.println(u2); sqlSession2.close(); }
可以看出,第一次查询缓存中没有数据,所以发出sql语句,查询后将数据放入二级缓存中;执行更新操作并commit,会清空二级缓存;第二次查询,由于之前执行了更新操作,缓存已经清空,所以会发出sql语句。
4)useCache和flushCache
mybatis中还可以配置useCache和flushCache等配置项,useCache使用来设置是否禁用二级缓存的,在statement中设置useCache=false可以禁用前select语句的二级缓存,即每次查询都会发出sql去查询,默认情况是true,即该sql使用二级缓存。
<select id="findById" resultMap="userMap" useCache="false"> select * from user where id = #{id} </select>
这种情况是针对每次查询都需要最新的数据,sql要设置成useCache=false,禁用二级缓存,直接从数据库获取。
在mapper的同一个namespace中,如果有其他insert、update、delete操作数据后需要刷新缓存,如果不执行刷新缓存,缓存会出现脏读。
设置statement配置中的flushCache=true属性,默认情况下为true,即刷新缓存,如果改成false,则不会刷新。使用缓存时如果手动修改数据库表中的查询数据会出现脏读。
<select id="findById" resultMap="userMap" flushCache="true" useCache="false"> select * from user where id = #{id} </select>
一般执行完commit操作都需要刷新缓存,flushCache=true表示刷新缓存,这样可以避免数据库脏读。所以我们不用设置,默认即可。
源码剖析
如果一级缓存和二级缓存同时开启,那么查询请求是怎么个过程?
答案是,首先会查询二级缓存,若二级缓存未命中,再去查询一级缓存,一级缓存没有命中,再去查询数据库。
与一级缓存不同,二级缓存和具体的命名空间绑定,一个mapper中有一个cache,相同mapper中的MappedStatement共用一个cache,一级缓存则是和SqlSession绑定。
标签<cache/>的解析
// XMLConfigBuilder.parse() public Configuration parse() { if (parsed) { throw new BuilderException("Each XMLConfigBuilder can only be used once."); } parsed = true; parseConfiguration(parser.evalNode("/configuration"));// 在这⾥ return configuration; } // parseConfiguration() // 既然是在xml中添加的,那么我们就直接看关于mappers标签的解析 private void parseConfiguration(XNode root) { try { propertiesElement(root.evalNode("properties")); Properties settings = settingsAsProperties(root.evalNode("settings")); loadCustomVfs(settings); typeAliasesElement(root.evalNode("typeAliases")); pluginElement(root.evalNode("plugins")); objectFactoryElement(root.evalNode("objectFactory")); objectWrapperFactoryElement(root.evalNode("objectWrapperFactory")); reflectorFactoryElement(root.evalNode("reflectorFactory")); settingsElement(settings); environmentsElement(root.evalNode("environments")); databaseIdProviderElement(root.evalNode("databaseIdProvider")); typeHandlerElement(root.evalNode("typeHandlers")); // 就是这里 mapperElement(root.evalNode("mappers")); } catch (Exception e) { throw new BuilderException("Error parsing SQL Mapper Configuration. Cause: " + e, e); } } // mapperElement() private void mapperElement(XNode parent) throws Exception { if (parent != null) { for (XNode child : parent.getChildren()) { if ("package".equals(child.getName())) { String mapperPackage = child.getStringAttribute("name"); configuration.addMappers(mapperPackage); } else { String resource = child.getStringAttribute("resource"); String url = child.getStringAttribute("url"); String mapperClass = child.getStringAttribute("class"); // 按照我们本例的配置,则直接走该if判断 if (resource != null && url == null && mapperClass == null) { ErrorContext.instance().resource(resource); InputStream inputStream = Resources.getResourceAsStream(resource); XMLMapperBuilder mapperParser = new XMLMapperBuilder(inputStream, configuration, resource, configuration.getSqlFragments()); // 生成XMLMapperBuilder,并执行其parse方法 mapperParser.parse(); } else if (resource == null && url != null && mapperClass == null) { ErrorContext.instance().resource(url); InputStream inputStream = Resources.getUrlAsStream(url); XMLMapperBuilder mapperParser = new XMLMapperBuilder(inputStream, configuration, url, configuration.getSqlFragments()); mapperParser.parse(); } else if (resource == null && url == null && mapperClass != null) { Class<?> mapperInterface = Resources.classForName(mapperClass); configuration.addMapper(mapperInterface); } else { throw new BuilderException("A mapper element may only specify a url, resource or class, but not more than one."); } } } } }
我们来看看解析Mapper.xml
// XMLMapperBuilder.parse() public void parse() { if (!configuration.isResourceLoaded(resource)) { // 解析mapper属性 configurationElement(parser.evalNode("/mapper")); configuration.addLoadedResource(resource); bindMapperForNamespace(); } parsePendingResultMaps(); parsePendingCacheRefs(); parsePendingStatements(); } // configurationElement() private void configurationElement(XNode context) { try { String namespace = context.getStringAttribute("namespace"); if (namespace == null || namespace.equals("")) { throw new BuilderException("Mapper's namespace cannot be empty"); } builderAssistant.setCurrentNamespace(namespace); cacheRefElement(context.evalNode("cache-ref")); // 最终在这里看到了关于cache属性的处理 cacheElement(context.evalNode("cache")); parameterMapElement(context.evalNodes("/mapper/parameterMap")); resultMapElements(context.evalNodes("/mapper/resultMap")); sqlElement(context.evalNodes("/mapper/sql")); // 这里会将生成的Cache包装到对应的MappedStatement buildStatementFromContext(context.evalNodes("select|insert|update|delete")); } catch (Exception e) { throw new BuilderException("Error parsing Mapper XML. The XML location is '" + resource + "'. Cause: " + e, e); } } // cacheElement() private void cacheElement(XNode context) throws Exception { if (context != null) { //解析<cache/>标签的type属性,这里我们可以自定义cache的实现类,比如redisCache,如果没有自定义,这里使用和一级缓存相同的PERPETUAL String type = context.getStringAttribute("type", "PERPETUAL"); Class<? extends Cache> typeClass = typeAliasRegistry.resolveAlias(type); String eviction = context.getStringAttribute("eviction", "LRU"); Class<? extends Cache> evictionClass = typeAliasRegistry.resolveAlias(eviction); Long flushInterval = context.getLongAttribute("flushInterval"); Integer size = context.getIntAttribute("size"); boolean readWrite = !context.getBooleanAttribute("readOnly", false); boolean blocking = context.getBooleanAttribute("blocking", false); Properties props = context.getChildrenAsProperties(); builderAssistant.useNewCache(typeClass, evictionClass, flushInterval, size, readWrite, blocking, props); } }
先来看看是如何构建Cache对象的。
MapperBuilderAssistant.useNewCache()
public Cache useNewCache(Class<? extends Cache> typeClass, Class<? extends Cache> evictionClass, Long flushInterval, Integer size, boolean readWrite, boolean blocking, Properties props) { // 1.生成Cache对象 Cache cache = new CacheBuilder(currentNamespace) //这里如果我们定义了<cache/>中的type,就使用自定义的Cache,否则使用和一级缓存相同的PerpetualCache .implementation(valueOrDefault(typeClass, PerpetualCache.class)) .addDecorator(valueOrDefault(evictionClass, LruCache.class)) .clearInterval(flushInterval) .size(size) .readWrite(readWrite) .blocking(blocking) .properties(props) .build(); // 2.添加到Configuration中 configuration.addCache(cache); // 3.并将cache赋值给MapperBuilderAssistant.currentCache currentCache = cache; return cache; }
我们看到⼀个Mapper.xml只会解析⼀次标签,也就是只创建⼀次Cache对象,放进configuration中,并将cache赋值给MapperBuilderAssistant.currentCache。
buildStatementFromContext(context.evalNodes("select|insert|update|delete"));将Cache包装MappedStatement。
// buildStatementFromContext() private void buildStatementFromContext(List<XNode> list) { if (configuration.getDatabaseId() != null) { buildStatementFromContext(list, configuration.getDatabaseId()); } buildStatementFromContext(list, null); } // buildStatementFromContext() private void buildStatementFromContext(List<XNode> list, String requiredDatabaseId) { for (XNode context : list) { final XMLStatementBuilder statementParser = new XMLStatementBuilder(configuration, builderAssistant, context, requiredDatabaseId); try { // 每一条执行语句转换成一个MappedStatement statementParser.parseStatementNode(); } catch (IncompleteElementException e) { configuration.addIncompleteStatement(statementParser); } } }
// XMLStatementBuilder.parseStatementNode(); public void parseStatementNode() { String id = context.getStringAttribute("id"); String databaseId = context.getStringAttribute("databaseId"); ... Integer fetchSize = context.getIntAttribute("fetchSize"); Integer timeout = context.getIntAttribute("timeout"); String parameterMap = context.getStringAttribute("parameterMap"); String parameterType = context.getStringAttribute("parameterType"); Class<?> parameterTypeClass = resolveClass(parameterType); String resultMap = context.getStringAttribute("resultMap"); String resultType = context.getStringAttribute("resultType"); String lang = context.getStringAttribute("lang"); LanguageDriver langDriver = getLanguageDriver(lang); ... // 创建 MappedStatement 对象 builderAssistant.addMappedStatement(id, sqlSource, statementType, sqlCommandType, fetchSize, timeout, parameterMap, parameterTypeClass, resultMap, resultTypeClass, resultSetTypeEnum, flushCache, useCache, resultOrdered, keyGenerator, keyProperty, keyColumn, databaseId, langDriver, resultSets); }
// builderAssistant.addMappedStatement() public MappedStatement addMappedStatement( String id, SqlSource sqlSource, StatementType statementType, SqlCommandType sqlCommandType, Integer fetchSize, Integer timeout, String parameterMap, Class<?> parameterType, String resultMap, Class<?> resultType, ResultSetType resultSetType, boolean flushCache, boolean useCache, boolean resultOrdered, KeyGenerator keyGenerator, String keyProperty, String keyColumn, String databaseId, LanguageDriver lang, String resultSets) { if (unresolvedCacheRef) { throw new IncompleteElementException("Cache-ref not yet resolved"); } id = applyCurrentNamespace(id, false); boolean isSelect = sqlCommandType == SqlCommandType.SELECT; // 创建 MappedStatement.Builder 对象 MappedStatement.Builder statementBuilder = new MappedStatement.Builder(configuration, id, sqlSource, sqlCommandType) .resource(resource) .fetchSize(fetchSize) .timeout(timeout) .statementType(statementType) .keyGenerator(keyGenerator) .keyProperty(keyProperty) .keyColumn(keyColumn) .databaseId(databaseId) .lang(lang) .resultOrdered(resultOrdered) .resultSets(resultSets) .resultMaps(getStatementResultMaps(resultMap, resultType, id)) // 获得 ResultMap 集合 .resultSetType(resultSetType) .flushCacheRequired(valueOrDefault(flushCache, !isSelect)) .useCache(valueOrDefault(useCache, isSelect)) .cache(currentCache); // 在这里将之前生成的Cache封装到MappedStatement ParameterMap statementParameterMap = getStatementParameterMap(parameterMap, parameterType, id); if (statementParameterMap != null) { statementBuilder.parameterMap(statementParameterMap); } MappedStatement statement = statementBuilder.build(); configuration.addMappedStatement(statement); return statement; }
查询源码分析
CachingExecutor
// CachingExecutor @Override public <E> List<E> query(MappedStatement ms, Object parameterObject, RowBounds rowBounds, ResultHandler resultHandler) throws SQLException { BoundSql boundSql = ms.getBoundSql(parameterObject); // 创建 CacheKey 对象 CacheKey key = createCacheKey(ms, parameterObject, rowBounds, boundSql); return query(ms, parameterObject, rowBounds, resultHandler, key, boundSql); } @Override public <E> List<E> query(MappedStatement ms, Object parameterObject, RowBounds rowBounds, ResultHandler resultHandler, CacheKey key, BoundSql boundSql) throws SQLException { // 从 MappedStatement 中获取 Cache,注意这里的 Cache 是从MappedStatement中获取的 // 也就是我们上面解析Mapper中<cache/>标签中创建的,它保存在Configration中 // 我们在初始化解析xml时分析过每一个MappedStatement都有一个Cache对象,就是这里 Cache cache = ms.getCache(); // 如果配置文件中没有配置 <cache>,则 cache 为空 if (cache != null) { //如果需要刷新缓存的话就刷新:flushCache="true" flushCacheIfRequired(ms); if (ms.isUseCache() && resultHandler == null) { ensureNoOutParams(ms, boundSql); // 从二级缓存中,获取结果 List<E> list = (List<E>) tcm.getObject(cache, key); if (list == null) { // 如果没有值,则执行查询,这个查询实际也是先走一级缓存查询,一级缓存也没有的话,则进行DB查询 list = delegate.query(ms, parameterObject, rowBounds, resultHandler, key, boundSql); // 缓存查询结果 tcm.putObject(cache, key, list); // issue #578 and #116 } // 如果存在,则直接返回结果 return list; } } // 不使用缓存,则从数据库中查询(会查一级缓存) return delegate.query(ms, parameterObject, rowBounds, resultHandler, key, boundSql); }
TransactionalCacheManager
// 事务缓存管理器 public class TransactionalCacheManager { // Cache 与 TransactionalCache 的映射关系表 private final Map<Cache, TransactionalCache> transactionalCaches = new HashMap<>(); // 清空缓存 public void clear(Cache cache) { // 获取 TransactionalCache 对象,并调⽤该对象的 clear ⽅法,下同 getTransactionalCache(cache).clear(); } // 获得缓存中,指定 Cache + K 的值。 public Object getObject(Cache cache, CacheKey key) { // 直接从TransactionalCache中获取缓存 return getTransactionalCache(cache).getObject(key); } // 添加 Cache + KV ,到缓存中 public void putObject(Cache cache, CacheKey key, Object value) { // 直接存入TransactionalCache的缓存中 getTransactionalCache(cache).putObject(key, value); } // 提交所有 TransactionalCache public void commit() { for (TransactionalCache txCache : transactionalCaches.values()) { txCache.commit(); } } // 回滚所有 TransactionalCache public void rollback() { for (TransactionalCache txCache : transactionalCaches.values()) { txCache.rollback(); } } // 获得 Cache 对应的 TransactionalCache 对象 private TransactionalCache getTransactionalCache(Cache cache) { return transactionalCaches.computeIfAbsent(cache, TransactionalCache::new); } }
TransactionalCache
public class TransactionalCache implements Cache { //真正的缓存对象,和上面的Map<Cache, TransactionalCache>中的Cache是同一个 private final Cache delegate; private boolean clearOnCommit; // 在事务被提交前,所有从数据库中查询的结果将缓存在此集合中 private final Map<Object, Object> entriesToAddOnCommit; // 在事务被提交前,当缓存未命中时,CacheKey 将会被存储在此集合中 private final Set<Object> entriesMissedInCache; ... @Override public Object getObject(Object key) { // 查询的时候是直接从delegate中去查询的,也就是从真正的缓存对象中查询 Object object = delegate.getObject(key); // 如果不存在,则添加到 entriesMissedInCache 中 if (object == null) { // 缓存未命中,则将 key 存入到 entriesMissedInCache 中 entriesMissedInCache.add(key); } if (clearOnCommit) { return null; } else { return object; } } ... @Override public void putObject(Object key, Object object) { // 将键值对存入到 entriesToAddOnCommit 这个Map中中,而非真实的缓存对象 delegate 中 entriesToAddOnCommit.put(key, object); } @Override public Object removeObject(Object key) { return null; } @Override public void clear() { clearOnCommit = true; // 清空 entriesToAddOnCommit,但不清空 delegate 缓存 entriesToAddOnCommit.clear(); } public void commit() { // 根据 clearOnCommit 的值决定是否清空 delegate if (clearOnCommit) { delegate.clear(); } // 刷新未缓存的结果到 delegate 缓存中 flushPendingEntries(); // 重置 entriesToAddOnCommit 和 entriesMissedInCache reset(); } public void rollback() { // 从 delegate 移除出 entriesMissedInCache unlockMissedEntries(); // 重置 reset(); } private void reset() { // 重置 clearOnCommit 为 false clearOnCommit = false; // 清空 entriesToAddOnCommit、entriesMissedInCache entriesToAddOnCommit.clear(); entriesMissedInCache.clear(); } // 将 entriesToAddOnCommit、entriesMissedInCache 刷入 delegate 中 private void flushPendingEntries() { // 将 entriesToAddOnCommit 中的内容转存到 delegate 中 for (Map.Entry<Object, Object> entry : entriesToAddOnCommit.entrySet()) { // 在这里真正的将entriesToAddOnCommit的对象逐个添加到delegate中,只有这时,二级缓存才真正的生效 delegate.putObject(entry.getKey(), entry.getValue()); } // 将 entriesMissedInCache 刷入 delegate 中 for (Object entry : entriesMissedInCache) { if (!entriesToAddOnCommit.containsKey(entry)) { delegate.putObject(entry, null); } } } private void unlockMissedEntries() { for (Object entry : entriesMissedInCache) { try { // 调用 removeObject 进行解锁 delegate.removeObject(entry); } catch (Exception e) { log.warn("Unexpected exception while notifiying a rollback to the cache adapter." + "Consider upgrading your cache adapter to the latest version. Cause: " + e); } } } }
存储⼆级缓存对象的时候是放到了TransactionalCache.entriesToAddOnCommit这个map中,但是每次查询的时候是直接从TransactionalCache.delegate中去查询的,所以这个⼆级缓存查询数据库后,设置缓存值是没有⽴刻⽣效的,主要是因为直接存到 delegate 会导致脏数据问题。
为何只有SqlSession提交或关闭之后?
SqlSession
// DefaultSqlSession @Override public void commit(boolean force) { try { // 提交事务 executor.commit(isCommitOrRollbackRequired(force)); // 标记 dirty 为 false dirty = false; } catch (Exception e) { throw ExceptionFactory.wrapException("Error committing transaction. Cause: " + e, e); } finally { ErrorContext.instance().reset(); } }
// CachingExecutor.commit @Override public void commit(boolean required) throws SQLException { // 执行 delegate 对应的方法 delegate.commit(required); // 提交 TransactionalCacheManager tcm.commit(); }
// TransactionalCacheManager.commit() public void commit() { // 提交所有 TransactionalCache for (TransactionalCache txCache : transactionalCaches.values()) { txCache.commit(); } }
// TransactionalCache.commit() public void commit() { // 如果 clearOnCommit 为 true ,则清空 delegate 缓存 if (clearOnCommit) { delegate.clear(); } // 将 entriesToAddOnCommit、entriesMissedInCache 刷入 delegate(cache) 中 flushPendingEntries(); // 重置 reset(); } // TransactionalCache.flushPendingEntries() private void flushPendingEntries() { // 将 entriesToAddOnCommit 中的内容转存到 delegate 中 for (Map.Entry<Object, Object> entry : entriesToAddOnCommit.entrySet()) { // 在这里真正的将entriesToAddOnCommit的对象逐个添加到delegate中,只有这时,二级缓存才真正的生效 delegate.putObject(entry.getKey(), entry.getValue()); } // 将 entriesMissedInCache 刷入 delegate 中 for (Object entry : entriesMissedInCache) { if (!entriesToAddOnCommit.containsKey(entry)) { delegate.putObject(entry, null); } } }
⼆级缓存的刷新
// DefaultSqlSession.update @Override public int update(String statement, Object parameter) { try { // 标记 dirty ,表示执行过写操作 dirty = true; // 获得 MappedStatement 对象 MappedStatement ms = configuration.getMappedStatement(statement); // 执行更新操作 return executor.update(ms, wrapCollection(parameter)); } catch (Exception e) { throw ExceptionFactory.wrapException("Error updating database. Cause: " + e, e); } finally { ErrorContext.instance().reset(); } }
// CachingExecutor.update @Override public int update(MappedStatement ms, Object parameterObject) throws SQLException { // 如果需要清空缓存,则进行清空 flushCacheIfRequired(ms); // 执行 delegate 对应的方法 return delegate.update(ms, parameterObject); } // 如果需要清空缓存,则进行清空 private void flushCacheIfRequired(MappedStatement ms) { // 获取MappedStatement对应的Cache,进⾏清空 Cache cache = ms.getCache(); // SQL需设置flushCache="true" 才会执⾏清空 if (cache != null && ms.isFlushCacheRequired()) { tcm.clear(cache); } }
MyBatis⼆级缓存只适⽤于不常进⾏增、删、改的数据,⽐如国家⾏政区省市区街道数据。⼀但数据变更,MyBatis会清空缓存。因此⼆级缓存不适⽤于经常进⾏更新的数据。