kafka-重复消费-2

场景：

kafka先批量拉取消息，完了将拉下来的消息逐条消费，假如此次共拉取40条消息，但在处理第31条时，线程被停掉，就会导致已消费消息offet不会被提交，接下来已经被消费的30条记录还会被重复消费，这就是kafka重复消费的另一场景；

解决思路：

解决此类重复消费的方式：将能够唯一标识消息的信息存储在其他系统，比如redis，什么能够唯一标识消息呢？就是consumergroup+topic+partition+offset，更准确的应该是consumergroup+"_"+topic+"_"+partition+"_"+offset组成的key,value可以是处理时间存放在redis中，每次处理kafka消息时先从redis中根据key获取value，如果value为空，则表明该消息是第一次被消费，不为空则表示时已经被消费过的消息；

代码如下：

    private void handleRecord(String recordValue,long offset,int partition,String topic) {

        StringBuilder redisKey = new StringBuilder();
        redisKey.append(consumergroup).append("_").append(topic).append("_").append(partition).append("_").append(offset);
        logger.info("redisKey:{}",redisKey.toString());
        String consumeDate = (String) redisCacheUtil.get(redisKey.toString());
        if (StringUtils.isNotEmpty(consumeDate)) {
            logger.info("重复消费,跳过！redisKey:{},recordValue:{},消费时间:{}",redisKey,recordValue,consumeDate);
            return;
        }
        redisCacheUtil.set(redisKey.toString(),DateUtils.dateToString());
        //设置过期时间，要稍大于kafka消息保存时间
        redisCacheUtil.expire(redisKey.toString(),ComConstant.REDIS_EXPIRE_TIME_8_DAYS);
        
        //核心业务逻辑
    }
    
    private void consumeMessage() {
        logger.debug("consumeMessage() -- BEGEN");
        ConsumerRecords<String, String> records = consumer.poll(10000);

        logger.info("获取未消费记录数：{}", records.count());
        for (ConsumerRecord<String, String> record : records) {
            logger.info("消费消息：{}", record);
            try {
               handleRecord(record.value(),record.offset(),record.partition(),record.topic());
            }catch (Exception e){
                LoggerUtils.error(logger, e, "kafka处理消息失败！");
                //失败时的处理逻辑
            }
        }
        if (records.count() > 0) {
            logger.info("更新offset");
            consumer.commitSync();
        }
        logger.debug("consumeMessage() -- END");
    }