架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Redis做消息队列罢了。
- 为什么需要消息队列？
当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候，就需要消息队列，作为抽象层，弥合双方的差异。
比如我们系统中常见的邮件、短信发送，把这些不需要及时响应的功能写入队列，异步处理请求，减少响应时间。
- 如何实现？
成熟的JMS消息队列中间件产品市面上有很多，但是基于目前项目的架构以及部署情况，我们采用Redis做消息队列。
- 为什么用Redis？
Redis中list数据结构，具有“双端队列”的特性，同时redis具有持久数据的能力，因此redis实现分布式队列是非常安全可靠的。
它类似于JMS中的“Queue”，只不过功能和可靠性(事务性)并没有JMS严格。Redis本身的高性能和"便捷的"分布式设计(replicas,sharding),可以为实现"分布式队列"提供了良好的基础。
- SpringBoot演示
- application.properties
主要用于redis基本连接配置
#配置redis #在RedisProperties.class有redis的默认配置，默认host为localhost,默认端口为6379 spring.redis.host=127.0.0.1 spring.redis.port=6379 spring.redis.maxIdle=3 spring.redis.maxTotal=20
- RedisConfig.java
redis连接配置，序列化配置，订阅发布者配置
package com.niugang; import org.springframework.boot.context.properties.ConfigurationProperties; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.data.redis.connection.jedis.JedisConnectionFactory; import org.springframework.data.redis.core.RedisTemplate; import org.springframework.data.redis.core.StringRedisTemplate; import org.springframework.data.redis.listener.ChannelTopic; import org.springframework.data.redis.listener.RedisMessageListenerContainer; import org.springframework.data.redis.listener.adapter.MessageListenerAdapter; import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer; import org.springframework.data.redis.serializer.StringRedisSerializer; import com.fasterxml.jackson.annotation.JsonAutoDetect; import com.fasterxml.jackson.annotation.PropertyAccessor; import com.fasterxml.jackson.databind.ObjectMapper; import com.niugang.mq.MessageDelegate; import com.niugang.mq.MessageDelegateImpl; import redis.clients.jedis.JedisPoolConfig; @Configuration @ConfigurationProperties(prefix = "spring.redis") public class RedisConfig { public String host; public int port; public int maxIdle; public int maxTotal; @Bean public JedisConnectionFactory jedisConnectionFactory() { JedisConnectionFactory jedisConnectionFactory = new JedisConnectionFactory(); jedisConnectionFactory.setHostName(host); jedisConnectionFactory.setPort(port); JedisPoolConfig jedisPoolConfig = new JedisPoolConfig(); jedisPoolConfig.setMaxIdle(maxIdle); jedisPoolConfig.setMaxTotal(maxTotal); jedisConnectionFactory.setPoolConfig(jedisPoolConfig); return jedisConnectionFactory; } // 默认用的是用JdkSerializationRedisSerializer进行序列化的 @Bean @SuppressWarnings({ "rawtypes", "unchecked" }) public RedisTemplate<String, Object> redisTemplate() { RedisTemplate<String, Object> redisTemplate = new RedisTemplate<String, Object>(); // 注入数据源 redisTemplate.setConnectionFactory(jedisConnectionFactory()); // 使用Jackson2JsonRedisSerialize 替换默认序列化 Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class); ObjectMapper objectMapper = new ObjectMapper(); objectMapper.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY); objectMapper.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL); jackson2JsonRedisSerializer.setObjectMapper(objectMapper); // 设置value的序列化规则和 key的序列化规则 redisTemplate.setValueSerializer(jackson2JsonRedisSerializer); redisTemplate.setKeySerializer(new StringRedisSerializer()); redisTemplate.afterPropertiesSet(); return redisTemplate; } @Bean public StringRedisTemplate stringRedisTemplate() { return new StringRedisTemplate(jedisConnectionFactory()); } // ################发布订阅配置################################### @Bean public MessageDelegate messageDelegate() { return new MessageDelegateImpl(); } @Bean public MessageListenerAdapter messageListener() { MessageListenerAdapter messageListenerAdapter = new MessageListenerAdapter(messageDelegate()); return messageListenerAdapter; } /** * RedisMessageListenerContainer充当消息侦听器容器;它用于接收来自Redis通道的消息， * 并驱动注入到其中的MessageListeners。侦听器容器负责消息接收的所有线程，并将消息分派到侦听器中进行处理。 * 消息侦听器容器是MDP(message-driven POJOs)和消息传递提供程序之间的中介 负责注册接收消息，资源获取和发布，异常。 * * 转换等 */ @Bean public RedisMessageListenerContainer redisContainer() { RedisMessageListenerContainer con = new RedisMessageListenerContainer(); con.setConnectionFactory(jedisConnectionFactory()); ChannelTopic channelTopic = new ChannelTopic("log_queue"); con.addMessageListener(messageListener(), channelTopic); return con; } public String getHost() { return host; } public void setHost(String host) { this.host = host; } public int getPort() { return port; } public void setPort(int port) { this.port = port; } public int getMaxIdle() { return maxIdle; } public void setMaxIdle(int maxIdle) { this.maxIdle = maxIdle; } public int getMaxTotal() { return maxTotal; } public void setMaxTotal(int maxTotal) { this.maxTotal = maxTotal; } }
- 日志注解
package com.niugang.annotation; import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.annotation.Target; /** * 定义记录日志注解 * @author niugang * */ @Retention(RetentionPolicy.RUNTIME) //注解可用在方法和类上 @Target({ElementType.METHOD, ElementType.TYPE}) public @interface LogApi { /** * 日志描述 */ String value() default ""; /** * 日志类型 * @return */ String type() default LogType.OPERATE_LOG; }
- 日志注解解析类
- 日志类型常量类
package com.niugang.annotation; /** * 日志类型常量类 * @author niugang * */ public class LogType { public static final String OPERATE_LOG="redis:operate:log"; }
- 消息委托接口（根据Spring-data-redis官方文档配置）
package com.niugang.mq; import java.io.Serializable; import java.util.Map; /** * 考虑下面的接口定义。 * 注意，尽管接口没有扩展MessageListener接口，仍然可以通过使用MessageListenerAdapter将其用作MDP * 类（容器中配置）。还要注意各种消息处理方法是如何根据 * * 它们可以接收和处理的各种消息类型的内容 * * @author niugang * */ public interface MessageDelegate { // 默认监听的方法就是handleMessage void handleMessage(String message); /* * void handleMessage(Map message); void handleMessage(byte[] message); void * handleMessage(Serializable message); // pass the channel/pattern as well * void handleMessage(Serializable message, String channel); */ }
- 消息委托接口实现类（根据Spring-data-redis官方文档配置）
以下处理主要是订阅者接收到消息，将消息根据类型存到redis中，只是为了演示
package com.niugang.mq; import java.io.Serializable; import java.util.Map; import org.apache.commons.lang3.StringUtils; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.data.redis.core.RedisTemplate; import com.alibaba.fastjson.JSON; import com.niugang.annotation.LogParseBean; public class MessageDelegateImpl implements MessageDelegate{ @Autowired private RedisTemplate<String, String> redisTemplate; @Override public void handleMessage(String message) { if(StringUtils.isNotBlank(message)){ System.out.println("message:"+message); //这里演示，存储到redis里面 LogParseBean parseObject = JSON.parseObject(message, LogParseBean.class); String type = parseObject.getType(); redisTemplate.opsForList().leftPush(type, parseObject.getValue()); //项目中可以存储到Elasticsearch等非关系型数据库 } } }
- 日志注解AOP
package com.niugang.aop; import java.lang.reflect.Method; import org.apache.commons.lang3.StringUtils; import org.aspectj.lang.ProceedingJoinPoint; import org.aspectj.lang.annotation.Around; import org.aspectj.lang.annotation.Aspect; import org.aspectj.lang.reflect.MethodSignature; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.data.redis.core.RedisTemplate; import org.springframework.stereotype.Component; import com.alibaba.fastjson.JSONObject; import com.niugang.annotation.LogApi; @Aspect @Component public class LogAscept { @Autowired private RedisTemplate<String, String> redisTemplate; @Around("@annotation(com.niugang.annotation.LogApi)") public Object aroundAdvice(ProceedingJoinPoint pjd) throws Throwable { Object proceed = pjd.proceed(); MethodSignature signature = (MethodSignature)pjd.getSignature(); Method method = signature.getMethod(); LogApi logApi= method.getAnnotation(LogApi.class); //调用redis发布消息 messageQueue(logApi); return proceed; // 必须得有返回值，否则不能往下执行 } private void messageQueue(LogApi logApi) { String value = logApi.value(); String type = logApi.type(); JSONObject jsonObject = new JSONObject(); jsonObject.put("value", value); jsonObject.put("type", type); if(StringUtils.isNotBlank(value)){ redisTemplate.convertAndSend("log_queue", jsonObject.toJSONString()); } } }
- Controller接口演示
/** * 跳转到登录页面 * * @param map * @return */ @LogApi(value="跳转到登录页面") @RequestMapping(value = "/login", method = RequestMethod.GET) public String toLogin(ModelMap map) { return "login"; } /** * 跳转到index页面 * * @return */ @RequestMapping(value = "/index") @LogApi(value="列表页面") public String index(ModelMap map) { List<User> list = userService.queryList(null); map.put("users", list); return "index"; }
最后日志记录到Redis中
微信公众号
