k8s环境下spring cloud优雅停机

目的

 Spring cloud 微服务、k8s容器化部署的架构下，单个服务升级过程中，不停止对外提供服务，使得用户对整个升级过程无感知，从而实现服务的优雅升级。

负载均衡器

  1. spring cloud ribbon（k8s同namespace）：k8s同一命名空间之间的服务调用，采用ribbon、eureka做服务注册和负载均衡。

     问题：

        a、ribbon和eureka(CP)注重服务的可用性，所以存在服务实例的缓存，本地缓存：（1）ribbon本地缓存 （2）eureka client本地缓存 。远程缓存：（1）eureka server 三级缓存

        b、service 提供者停止，pod 向容器发送SIGTERM信号，service 提供者会向eureka server下线服务，这个时候service消费者会存在原有service的实例信息

  2. k8s  service （k8s不同namespce）:  k8s不同命名空间之间的服务调用，采用k8s service、kube-proxy做服务注册和负载均衡。

     问题：

       a、k8s service 支持服务的负载均衡，只有容器探针检测成功后，才会停止旧的容器Service。采用两种探针实现RollingUpdate。但是前提要存在多个实例

基于spring cloud 负载均衡的优雅停机

  针对spring cloud负载均衡存在的问题，要做到优雅停机，需要进行如下配置：

 a、缩短缓存时间

   1. 修改Client配置（ribbon和eureka client）

ribbon:
  # ribbon刷新eureka的时间5s, 默认30s
  ServerListRefreshInterval: 5000
#注册中心
eureka:
  client:
    serviceUrl:
      defaultZone: http://eureka-server:8761/eureka
    # eureka客户端需要多长时间发定时刷新本地缓存时间，默认30s
    registry-fetch-interval-seconds: 5
  instance:
    prefer-ip-address: true
    instance-id: ${spring.cloud.client.ipAddress}:${server.port}
    # eureka客户端需要多长时间发送心跳给eureka服务器，表明他仍然活着，默认30秒
    lease-renewal-interval-in-seconds: 5
    # eureka服务器在接受到实力的最后一次发出的心跳后，需要等待多久才可以将此实例删除 默认90秒
    lease-expiration-duration-in-seconds: 15

    缩短ribbon本地缓存时间，eureka client拉取注册表、心跳间隔时间 

   2. 修Server配置（eureka server）

eureka:
  server:
    # 禁用readOnlyCacheMap
    useReadOnlyResponseCache: false
    # 主动失效检测间隔, 默认60s
    evictionIntervalTimerInMs: 5000
  instance:
    # eureka服务器的标识，如果是集群就可以写成 eurekaSer1,eurekaSer2,eurekaSer3..
    hostname: eureka-server
    health-check-url-path: /actuator/health
  client:
    # 开启客户端存活状态监测
    healthcheck:
      enabled: true
    registerWithEureka: false
    fetchRegistry: false

  缩短失效检测的实现，同时禁用readOnlye缓存。 eureka server 存在三级缓存 ，均是纯内存操作，详细见下图

（1）registry（ConcurrentMap）：注册表
（2）readWriteCacheMap（GuavaCache）：读写缓存
（3）readOnlyCacheMap（ConcurrentMap）：只读缓存

b、Service先下线，再停机
 1、增加Service 下线端点

@ConfigurationProperties(prefix = "endpoints.offline")
public class OfflineEndpoint extends AbstractEndpoint<String> {

    public OfflineEndpoint() {
        super("offline", false);
    }


    @Override
    public String invoke() {
        String remoteIp = IPUtils.getIp();
        String localIp = IPUtils.getLocalIp();
        log.info("remoteIp:{} trigger service offline", remoteIp);
        if(localIp.substring(0, localIp.lastIndexOf(".")).equals(remoteIp.substring(0, remoteIp.lastIndexOf(".")))) {
            log.info("service start execute offline");
            DiscoveryManager.getInstance().shutdownComponent();
            try {
                Thread.sleep(10000);
            } catch (InterruptedException e) {
                log.error("sleep exception",e);
                throw new RuntimeException(e);
            }
            log.info("service end execute offline");
            return "SUCCESS";
        } else {
            log.warn("remoteIp:{} localIp:{} not trigger service ll_offline", remoteIp, localIp);
            return "NOT_ALLOW";
        }

    }
}

    2、利用pod preStop hook

 lifecycle:
          preStop:
            httpGet:
              port: 9494 
              scheme: HTTP
              path: offline

 c、Spring Cloud升级流程总结

   针对容器化RollingUpdate，Service 旧版本A，新版本A1发布流程如下：

   1、新版本容器Service A1，而在Service A1启动后就会注册到Eureka Server，

   2、Service A1，只有容器探针检测成功后，才会停止旧的容器Service A。所以此时 Service A1 和 Service A都注册在 Eureka Server上，接受流量

   3、Service A1，容器探测成功，下线Service A

   4、Service A 触发 preStop的offline操作，将Service A 从Eureka Server中下线，直至缓存更新完成

   5、Service A停止，Service A1 上限，完成单次服务滚动更新

基于k8s service 负载均衡的优雅停机

  实例注册：容器启动成功并不会注册到service，只有需要容器readinessPro成功后，才会注册到service。

  实例注销：容器执行preStop的同时就会将实例信息从service注销

  k8s Deployment本身就支持Rolling update，所以这里优雅停机：可以先扩容到2个实例，然后再缩容到1个实例，实现单服务的滚动更新