接口幂等

【工作篇】接口幂等问题探究

 

【工作篇】接口幂等问题探究

前言

最近遇到一些问题，表单重复提交，导致插入重复数据到数据库，这里查询一些通用的方案，自己都实践一下，以后好回顾。

实践代码项目 Github： https://github.com/h-dj/Spring-Learning/tree/master/repeat-submit

一、什么是接口幂等性？

幂等含义

幂等（idempotent、idempotence）是一个数学与计算机学概念，常见于抽象代数中。

在编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数，或幂等方法，是指可以使用相同参数重复执行，并能获得相同结果的函数。这些函数不会影响系统状态，也不用担心重复执行会对系统造成改变。--- 百科

简单理解：就是针对一个操作，不管做多少次，产生的效果都是一样的。

举例：

• 前端对同一表单数据的重复提交，后台应该只会产生一条记录
• 我们发起一笔付款请求，应该只扣用户账户一次钱，当遇到网络重发或系统 bug 重发，也应该只扣一次钱
• 发送消息，也应该只发一次，同样的短信如果多次发给用户，用户会崩溃
• 创建业务订单，一次业务请求只能创建一个，不能出现创建多个订单

二、那些情况下会需要接口幂等性?

对于业务中需要考虑幂等性的地方一般都是接口的重复请求，重复请求是指同一个请求因为某些原因被多次提交。导致这个情况会有以下几种场景：

• 前端重复提交：提交订单，用户快速重复点击多次，造成后端生成多个内容重复的订单。
• 接口超时重试：对于给第三方调用的接口，为了防止网络抖动或其他原因造成请求丢失，这样的接口一般都会设计成超时重试多次。
• 消息重复消费：MQ 消息中间件，消息重复消费。

三、接口幂等性解决方案

3.1、一般解决方案了解

前端方面：

• 控制操作次数，例如：提交按钮仅可操作一次（提交动作后按钮置灰）
• 及时重定向，例如：下单/支付成功后跳转到成功提示页面，这样消除了浏览器前进或后退造成的重复提交问题。

后台方面：

• 数据库去重表(唯一索引)：

  • 利用数据库的唯一索引特性，保证唯一的逻辑
  • 使用唯一索引，可以是在原来的业务表添加唯一索引，也可以新建一个特定的去重表

• 使用分布式锁：

  • 借助中间件：Redis 、Zookeeper
  • 注意要保证中间件的高可用

• Token 机制：

  • 进入页面时先申请 Token，提交表单时再使用 Token 请求，后台根据 Token 判断是否重复请求
  • 前端申请 Token 和 携带 Token 的行为需要进行封装，不然每个页面都需要手动，比较繁琐，后台的话可以使用 注解+ AOP 统一拦截

• 分布式项目，依然需要借助中间件：Redis

注意：

• 一般推荐前端后台一起组合接口幂等方案，这样比较安全高效。

以下准备使用加入购物车为例，实现各个方案

3.2、数据库去重表(唯一索引)

• 操作步骤

  • 1、通过请求的业务参数，组成唯一 ID
  • 2、通过 ID 查询去重表中是否存在记录，存在则抛出 重复请求异常（是否抛出异常，根据具体业务决定）
  • 3、否则，向去重表插入记录，如果插入异常，说明有多个请求同时执行，抛出重复请求异常
  • 4、去重表插入记录成功后，执行加入购物车操作
  • 5、执行加入购物车操作成功后，删除去重表记录
  • 注意： 去重表操作 和 业务处理要在同一个事物中，方式业务处理失败后，没有回滚去重表记录，导致商品加入购物车后，不能在增加数量

• 创建表

DROP TABLE IF EXISTS `cart`;
CREATE TABLE `cart` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `product_id` bigint(20) DEFAULT NULL,
  `product_name` varchar(500) DEFAULT NULL COMMENT '商品名称',
  `product_sku_id` bigint(20) DEFAULT NULL,
  `member_id` bigint(20) DEFAULT NULL,
  `quantity` int(11) DEFAULT NULL COMMENT '购买数量',
  `price` decimal(10,2) DEFAULT NULL COMMENT '添加到购物车的价格',
  PRIMARY KEY (`id`)
)
ENGINE=InnoDB
DEFAULT CHARSET=utf8mb4
COLLATE=utf8mb4_0900_ai_ci
COMMENT='购物车表';

DROP TABLE IF EXISTS `deduplicate`;
CREATE TABLE `deduplicate` (
	id BIGINT(20) auto_increment NOT NULL,
	unique_id varchar(100) NULL COMMENT '唯一ID',
	CONSTRAINT deduplicate_PK PRIMARY KEY (id),
	CONSTRAINT deduplicate_UN UNIQUE KEY (unique_id)  -- 唯一索引
)
ENGINE=InnoDB
DEFAULT CHARSET=utf8mb4
COLLATE=utf8mb4_0900_ai_ci
COMMENT='去重表';

• 添加到购物车逻辑

@RestController
@RequestMapping("/cart")
public class CartController {
    @Autowired
    private ICartService iCartService;

    @ApiRepeatUniqueIdSubmit(keyExpression = "@cartController.getUserId()+'_'+#cartPO.getProductId() +'_'+#cartPO.getProductSkuId()")
    @PostMapping(value = "/add")
    public String add(@RequestBody CartPO cartPO) throws InterruptedException {
        cartPO.setMemberId(getUserId());
        iCartService.addCart(cartPO);
        return "ok";
    }
    /**
     * 获取当前登录用户ID
     *
     * @return
     */
    public Long getUserId() {
        return 1001L;
    }
}

@Transactional(rollbackFor = Exception.class)
@Override
public void addCart(CartPO cartPO) throws InterruptedException {

    LambdaQueryWrapper<CartPO> queryWrapper = Wrappers.<CartPO>lambdaQuery()
        .eq(CartPO::getMemberId, cartPO.getMemberId())
        .eq(CartPO::getProductId, cartPO.getProductId())
        .eq(CartPO::getProductSkuId, cartPO.getProductSkuId());
    //查询商品，已添加到购物车的，就增加数量即可(业务逻辑幂等)
    //因为 select 和 save 操作不是串行执行的，可能有两个线程同时查询到商品没有添加到购物车
    //然后同一个商品被两个线程分别入库了，导致购物车出现相同商品的两条记录
    List<CartPO> list = this.list(queryWrapper);
    //模拟耗时
    TimeUnit.SECONDS.sleep(1);
    if (list == null || list.isEmpty()) {
        //添加到购物车
        this.save(cartPO);
    } else {
        CartPO updateCartPO = list.get(0);
        //数量加一
        LambdaUpdateWrapper<CartPO> updateWrapper = Wrappers.<CartPO>lambdaUpdate()
            .eq(CartPO::getId, updateCartPO.getId())
            .setSql("quantity = quantity + 1");

        this.update(updateWrapper);
    }
}

• 编写 AOP 拦截处理

@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Inherited
public @interface ApiRepeatUniqueIdSubmit {

    /**
     * 唯一key，支持Spring EL 表达式
     *
     * @return
     * @ 符号引用 Spring 注册的bean
     * # 符合引用方法上的参数
     * param?.id  其中? 是避免param为空时，发生空指针异常
     * @see <a>https://docs.spring.io/spring-framework/docs/3.0.x/reference/expressions.html</a>
     */
    String keyExpression();
}

@Component
@Aspect
public class ApiRepeatSubmitUniqueIdAspect {

    @Autowired
    private ApplicationContext applicationContext;

    @Autowired
    private IDeduplicateService iDeduplicateService;

    @Pointcut("@annotation(cn.hdj.repeatsubmit.aspect.ApiRepeatUniqueIdSubmit)")
    public void pointCut() {
    }
    @Transactional(rollbackFor = Exception.class)
    @Around("pointCut()")
    public Object around(ProceedingJoinPoint joinPoint) throws Throwable {

        Signature signature = joinPoint.getSignature();
        MethodSignature msig = (MethodSignature) signature;
        Method targetMethod = msig.getMethod();
        ApiRepeatUniqueIdSubmit apiRepeatSubmit = targetMethod.getAnnotation(ApiRepeatUniqueIdSubmit.class);
        String keyExpression = apiRepeatSubmit.keyExpression();

        Map<String, Object> argMap = SpringElUtil.getArgMap(joinPoint);
        //获取业务参数，组成唯一ID
        String uniqueId = SpringElUtil.<String>createElBuilder()
                .setArgMap(argMap)
                .setBeanFactory(applicationContext)
                .setTarget(String.class)
                .setKeyExpression(keyExpression)
                .build();

        LambdaQueryWrapper<DeduplicatePO> queryWrapper = Wrappers.<DeduplicatePO>lambdaQuery()
                .eq(DeduplicatePO::getUniqueId, uniqueId);

        long count = this.iDeduplicateService.count(queryWrapper);
        if (count > 0) {
            throw new DuplicateKeyException("不要重复提交!");
        }

        //插入去重表
        DeduplicatePO deduplicatePO = new DeduplicatePO();
        deduplicatePO.setUniqueId(uniqueId);
        try {
            this.iDeduplicateService.save(deduplicatePO);
        } catch (Exception e) {
            throw new DuplicateKeyException("不要重复提交!");
        }

        Object proceed = joinPoint.proceed();

        //执行完删除
        this.iDeduplicateService.removeById(deduplicatePO);

        return proceed;
    }
}

3.3、分布式锁

分布式锁可以使用 Redis 和 Zookeeper ，更多关于 Redis 和 Zookeeper 的使用 请自行查阅资料。以下使用 Redis 来实现分布式锁

• 引入依赖

<dependency>
    <groupId>org.redisson</groupId>
    <artifactId>redisson-spring-boot-starter</artifactId>
    <version>3.16.6</version>
</dependency>

• 配置

spring:
  redis:
    # https://github.com/redisson/redisson/wiki/2.-Configuration
    database: '0'
    host: '127.0.0.1'
    port: '6379'
    #password: '123456'
#    ssl:
#    timeout:
#    cluster:
#      nodes:
#    sentinel:
#      master:
#      nodes:

• 在 AOP 获取锁的逻辑

//创建锁
RLock lock = this.redissonClient.getLock(LOCK_PREFIX + uniqueId);

//判断是否被抢占了锁
if (lock.isLocked()) {
    throw new DuplicateKeyException("不要重复提交!");
}

//尝试获取锁， 默认30秒会超时过期， 并启动线程监听，自动续签
//当客户端异常，终止了续签线程，超时后会删除锁，避免发生死锁
//如果自己手动设置了超时过期时间，则不会启动线程监听，自动续签
if (lock.tryLock()) {
    try {
        return joinPoint.proceed();
    } finally {
        //释放锁
        lock.unlock();
    }
}
throw new DuplicateKeyException("不要重复提交!");

3.4、使用 Token 机制

• 操作步骤

  • 1、在访问页面时，先获取 Token ，保持到指定的地方
  • 2、在点击加入购物车时，把 Token 放到 Header 或请求参数中，带给后台
  • 3、后台验证 Token 并删除，表示该 Token 已使用
  • 4、执行加入购物车逻辑
  • 5、成功响应前端（看业务需求，是否需要重新获取 Token）

• 创建 Token 生成和验证服务

@Service
public class TokenServiceImpl implements TokenService {

    public static final String TOKEN_PREFIX = "token_idempotent";
    public static final String TOKEN_HEADER_NAME = "x-token";
    public static final Long TOKEN_EXPIRE_TIME = 5 * 60L;

    @Autowired
    private RedissonClient redissonClient;

    @Override
    public String createToken() {
        String ID = UUID.randomUUID().toString();
        RBucket<String> bucket = this.redissonClient.<String>getBucket(String.format("%s:%s", TOKEN_PREFIX, ID), StringCodec.INSTANCE);
        //默认超时5分钟
        bucket.trySet(ID, TOKEN_EXPIRE_TIME, TimeUnit.SECONDS);
        return ID;
    }
    @Override
    public boolean checkToken(HttpServletRequest request) {
        // 从请求头中获取token信息
        String token = request.getHeader(TOKEN_HEADER_NAME);
        if (!StringUtils.hasLength(token)) {
            //从参数中获取token值
            token = request.getParameter(TOKEN_HEADER_NAME);
        }
        if (!StringUtils.hasLength(token)) {
            throw new DuplicateKeyException("重复提交，提交失败");
        }

        RBucket<String> bucket = this.redissonClient.getBucket(String.format("%s:%s", TOKEN_PREFIX, token), StringCodec.INSTANCE);

        //获取，并删除
        String ID = bucket.getAndDelete();
        //不存在，则重复提交
        if (ID == null) {
            throw new DuplicateKeyException("重复提交，提交失败");
        }
        return true;
    }
}

• 在 AOP 中检查

@Component
@Aspect
public class ApiRepeatSubmitTokenAspect {
    @Autowired
    private TokenService tokenService;

    @Autowired
    private HttpServletRequest request;

    @Pointcut("@annotation(cn.hdj.repeatsubmit.aspect.ApiRepeatTokenSubmit)")
    public void pointCut() {
    }
    @Before("pointCut()")
    public void Before(JoinPoint joinPoint) {
        tokenService.checkToken(request);
    }
}

• 前端进入页面时是先获取 Token

$.ajax({
    type: "GET",
    url: "/token/create",
    contentType:'application/json',
    success: function(token){
        sessionStorage.setItem('x-token',token);
    }
});

• 请求时带上 Token

$("#addCart").click(function(){
    //按钮置灰
    $("#addCart").attr('disabled','disabled');
    $.ajax({
        type: "POST",
        url: "/cart/add",
        headers:{
            //携带token
            'x-token':sessionStorage.getItem('x-token')
        },
        data: JSON.stringify({
            productId: $('input[name=product_id]').val(),
            productSkuId: $('input[name=product_sku_id]').val(),
            productName: $('input[name=product_name]').val(),
            price: $('input[name=price]').val(),
            quantity: $('input[name=quantity]').val()
        }),
        contentType:'application/json',
        success: function(msg){
            console.log(msg)
        },
        complete: function(msg){
            $("#addCart").removeAttr('disabled');
        }
    });
});

总结

以上是较为常见通用的幂等方案，但实际业务可能比较个性化，需要跟业务结合进行考虑，采用合适的方法或结合使用，例如：

• 如果该业务是存在状态流转，可以采用状态机策略进行业务幂等判断
• 如果该业务是更新数据，可以采用多版本策略，在需要更新的业务表上加上版本号

参考

• https://myprojectt.readthedocs.io/zh_CN/latest/项目实战04请求幂等性.html
• https://xie.infoq.cn/article/107fd263605e9d184b78bf093
• https://segmentfault.com/a/1190000023555975