spring整合kafka项目生产和消费测试结果记录（一）

使用spring+springMVC+mybatis+kafka做了两个web项目，一个是生产者，一个是消费者。

通过JMeter测试工具模拟100个用户并发访问生产者项目，发送json数据给生产者的接口，生产者将json数据发送到kafka集群，

消费者监听到kafka集群中的消息就开始消费，并将json解析成对象存到MySQL数据库。

下面是使用JMeter测试工具模拟100个并发的线程设置截图：

请求所发送的数据：

下面是100个用户10000个请求的聚合报告：

下面是生产者截图生产完10000条消息的时间截图：

下面是消费者项目消费入库的结束时间截图：

可见，10000条消息从生产完成到入库（消费完10000条消息的时间只是比生产完成的时间落后了几十秒，但是消费端真正入库完成所需要的时间很长）完成时间相差了10几分钟。

下面是MySQL数据库截图，数据全部入库成功：

下面是消息对应的POJO：

package com.xuebusi.pojo;

public class TbPerson {
    private Long id;

    private String name;

    private Integer age;

    public Long getId() {
        return id;
    }

    public void setId(Long id) {
        this.id = id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name == null ? null : name.trim();
    }

    public Integer getAge() {
        return age;
    }

    public void setAge(Integer age) {
        this.age = age;
    }

    @Override
    public String toString() {
        return "TbPerson [id=" + id + ", name=" + name + ", age=" + age + "]";
    }
}

下面是生产端的逻辑：

package com.xuebusi.controller;

import com.alibaba.fastjson.JSON;
import com.xuebusi.pojo.TbPerson;
import com.xuebusi.service.KafkaService;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;
import org.springframework.web.bind.annotation.ResponseBody;

import javax.annotation.Resource;

@Controller
@RequestMapping("/producer")
public class KafkaController {

    private static final Logger logger = LoggerFactory.getLogger(KafkaController.class);

    @Resource
    private KafkaService kafkaService;

    /**
     * 发消息到ssmk这个topic
     * @param person
     * @return
     */
    @RequestMapping(value = "/person", method = RequestMethod.POST)
    @ResponseBody
    public String createPerson(@RequestBody TbPerson person) {
        if (person == null){
            return "fail, data can not be null.";
        }
        String json = JSON.toJSONString(person);
        boolean result = kafkaService.sendInfo("ssmk", json);
        logger.info("生产者发送消息[" + result + "]:" + json);
        return "success";
    }
}

下面是消费端的逻辑：

package com.xuebusi.consumer;

import com.alibaba.fastjson.JSON;
import com.xuebusi.pojo.TbPerson;
import com.xuebusi.service.PersonService;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.List;
import java.util.Map;

@Service
public class KafkaConsumerService {
    private static final Logger logger = LoggerFactory.getLogger(KafkaConsumerService.class);

    @Autowired
    private PersonService personService;

    public void processMessage(Map<String, Map<Integer, String>> msgs) {
        /*for (Map.Entry<String, Map<Integer, String>> entry : msgs.entrySet()) {
            String topic = entry.getKey();
            Map<Integer, String> value = entry.getValue();
            for (Map.Entry<Integer, String> entrySet : value.entrySet()) {
                Integer partiton = entrySet.getKey();
                String msg = entrySet.getValue();
                logger.info("消费的主题:" + topic + ",消费的分区:" + partiton + ",消费的消息:" + msg);
                logger.info("=======使用JSON解析对象=========");
                TbPerson person = JSON.parseObject(msg, TbPerson.class);
                logger.info("=======对象开始入库=========");
                personService.insert(person);
                logger.info("=======对象入库成功=========");
            }
        }*/

        for (Map.Entry<String, Map<Integer, String>> entry : msgs.entrySet()) {
            String topic = entry.getKey();
            Map<Integer, String> value = entry.getValue();
            for (Map.Entry<Integer, String> entrySet : value.entrySet()) {
                Integer partiton = entrySet.getKey();
                String msg = entrySet.getValue();
                logger.info("消费的主题:" + topic + ",消费的分区:" + partiton + ",消费的消息:" + msg);
                msg = "[" + msg + "]";//注意这里要在前后都加上中括号，否则下面在解析json成对象的时候会报json格式不对的异常（spring会对多条json数据用逗号分隔）
                logger.info("=======使用JSON解析对象=========");
                List<TbPerson> personList = JSON.parseArray(msg, TbPerson.class);
                //TbPerson person = JSON.parseObject(msg, TbPerson.class);
                if (personList != null && personList.size() > 0) {
                    logger.info("消息中包含[" + personList.size() + "]个对象");
                    for (TbPerson person : personList) {
                        logger.info("=======对象开始入库=========");
                        personService.insert(person);
                        logger.info("=======对象入库成功=========");
                    }
                }

            }
        }
    }
}

如果觉得本文对您有帮助，不妨扫描下方微信二维码打赏点，您的鼓励是我前进最大的动力：