• 深入探究 K8S ConfigMap 和 Secret


    ConfigMap

    1、什么是 ConfigMap?
    ConfigMap 是用来存储配置文件的 Kubernetes 资源对象,配置对象存储在 Etcd 中,配置的形式可以是完整的配置文件、key/value 等形式。

    2、ConfigMap 能带来什么好处?
    传统的应用服务,每个服务都有自己的配置文件,各自配置文件存储在服务所在节点,对于单体应用,这种存储没有任何问题,但是随着用户数量的激增,一个节点不能满足线上用户使用,故服务可能从一个节点扩展到十个节点,这就导致,如果有一个配置出现变更,就需要对应修改十次配置文件。这种人肉处理,显然不能满足线上部署要求,故引入了各种类似于 ZooKeeper 中间件实现的配置中心,但配置中心属于 “侵入式” 设计,需要修改引入第三方类库,它要求每个业务都调用特定的配置接口,破坏了系统本身的完整性,而Kubernetes 利用了 Volume 功能,完整设计了一套配置中心,其核心对象就是ConfigMap,使用过程不用修改任何原有设计,即可无缝对 ConfigMap;为什么呢?

    如图(1)所示,

    1.ConfigMap 相当于放入原生应用的配置文件,可以是一个或者多个;
    2.容器启动之后,到宿主机中拉取 ConfigMap 的内容,生成本地文件,通过 volume 形式映射到容器内部指定目录上;
    3.容器中应用程序按照原有方式读取容器特定目录上的配置文件。

    在容器看来,配置文件就像是打包在容器内部特定目录,整个过程对应用没有任何侵入。

    3、ConfigMap 三种创建方式

    • 指定字面键值对进行创建,创建命令如下所示:
    kubectl create configmap configmaptest --from-literal=foo=bar --from-literal=one=two
    

    创建完成后通过如下方式查看:

    # kubectl get configmap configmaptest -o yaml
    apiVersion: v1
    data:
      foo: bar
      one: two
    kind: ConfigMap
    metadata:
      creationTimestamp: "2020-04-14T13:53:42Z"
      name: configmaptest
      namespace: default
      resourceVersion: "613402"
      selfLink: /api/v1/namespaces/default/configmaps/configmaptest
      uid: 59b91eb4-7e57-11ea-83c7-509a4c36e19d
    
    • 指定特定文件进行创建
    kubectl create configmap config-files --from-file=/home/conf/db.properties
    

    可以通过如下方式进行查看,(内容过长,影响阅读,省略 ConfigMap 元信息。)

    # kubectl get configmap test-config -o yaml
    apiVersion: v1
    data:
      db.properties: |
        driverClassName=com.mysql.jdbc.Driver
        ......
    
    • 指定特定文件夹进行创建
    kubectl create configmap config-dir --from-file=/home/conf/config-test
    

    通过如下方式进行查看

    # kubectl get configmap config-test -o yaml
    apiVersion: v1
    data:
      db.properties: |
        # 数据源配置
        driverClassName=com.mysql.jdbc.Driver
       ......
      logback.xml: "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n<configuration debug=\"true\"
       ......
      svc.properties: |
        #server
        protocol=tcp
        .......
      system.properties: |
        time=100
        .......
    

    如上描述三种基本的 ConfigMap 创建方式,当然也可以使用合并不同选项进行创建配置文件,具体如下所示:

    kubectl create configmap config-mix --from-file=/home/conf/biz/ --from-file=/home/conf/db.xml  --from-literal=one=two
    

    看到这么多,你可能会想到,--from-file最后一级如果是文件夹会怎样呢?如你所想,文件夹其实不会被包含,只会查找最后一级目录下的文件。

    4、ConfigMap 作为环境变量三种使用方式

    • 单个引用

    1.首先创建 ConfigMap

    kubectl create configmap nginx-config --from-literal=code=25 --from-literal=foo=bar --from-literal=one=two
    

    2.Deployment yaml中引用 ConfigMap 设置环境变量,如图(2)所示

    键名是CODE-TIME,值是configmap中名为nginx-config的键是code的值

    3.通过如下方式进行查看,环境变量是否生效,可以发现,容器环境中已经存在引用ConfigMap中的环境变量

    # kubectl exec nginx-7c958f6448-z5q56 -it /bin/bash
    [root@nginx-7c958f6448-z5q56 /]# env|grep CODE
    CODE-TIME=25
    
    • 多个引用

    1.一次性传递所有ConfigMap条目作为环境变量,如图(3)所示

    可以通过如下方式进行查看环境变量是否生效,如下所示每个环境变量都按照预设,添加了配置的前缀,有人可能要说,我的配置文件中原来是什么配置现在还保留什么配置,不需要添加预设前缀,那么请查看如图(4)通过把前缀设置为空串,即可保持原有配置方式。

    # kubectl exec nginx-84ccdff98d-vgzcw -it /bin/bash
    [root@nginx-84ccdff98d-vgzcw /]# env|grep CODE
    CODE_foo=bar
    CODE_code=25
    CODE_one=two
    

    • args 方式传递环境变量

    容器启动时,传递该变量到服务,运行 shell 脚本,可能会用到,具体设置方式如图(5)所示:

    以上解释了通过在 yaml 设置 env 引用 ConfigMap 中配置作为环境变量的使用,在使用过程中,我参考了 《Kubernetes In Action》这本书,发现此书中有一段是这样描述的,如图(6)所示:

    其大概意思是,配置键中不能包含破折号,如果包含则不能设置到环境变量中,此书这部分是基于 Kubernetes 1.6 进行编撰,而我使用的是 kubernetes 1.14,不清楚是不是因为 Kubernetes 已经改进的原因,还是其他原因,我有两点不解的地方。破折号(——)大多都是指特别长的符号,在编码过程中很少有人使用这个,即使使用了,Kubernetes 根本无法保存成功。又何谈环境变量一说呢?会提示如图(7),图(8)所示错误:

    如果破折号换成英文半角字符 - 中划线呢?如图(9)所示,是可以保存成功的。当然也可以用于环境变量中。

    当然通过如上方式设置完成之后,就可以直接在容器内部使用环境变量读取已经设置的配置,但是使用环境变量的方式有一个致命的缺点是,当外部 ConfigMap 更新配置完成之后,容器内部环境变量并不会随之改变,这是因为 ENV 是容器启动时候注入的,启动之后 Kubernetes 就不会改变 ENV 的值,即配置不能同步更新,只能通过重启容器方式,配置才能生效。

    5.挂载 volume
    这种方式则是通过 volume 形式映射到容器内部指定目录上,容器内部进程直接读取该目录下特定文件,这种方式是我们常用的一种方式,具体使用时如下所示:

           ......
            - containerPort: 80
            volumeMounts:
              - mountPath: /usr/local/nginx/conf/vhost/
                name: http
              - mountPath: /usr/local/nginx/html/foo
                subPath: foo
                name: nginx-html
          volumes:
          - name: http
            configMap:
              name: nginx-conf
          - name: nginx-html
            configMap:
              name: configmaptest
              items: 
              - key: foo
                path: foo
       ......
    

    volumeMounts 是容器内部指定挂载目录,volumes 是引用目录,即宿主机设置 ConfigMap 文件地址。

    • 可以直接挂载一个目录到容器内部,当宿主机通过如下方式修改 configmap 那么容器内部配置将随之改变,一次性修改所有文件。但是使用这种方式有一个问题需要注意,如果挂载到容器内部的文件夹下存在其它文件,这种挂载方式将直接覆盖原有文件夹下的文件。
    # kubectl edit configmap configmaptest
    configmap/configmaptest edited
    
    • 如果有特定需求,需要挂载某个特定文件,而不允许覆盖原有文件,可以挂载到指定文件,通过 subPath 配合指定文件。但是单个文件挂载这种方式不能实现热更新,即宿主机 ConfigMap 文件发生变化,容器内部不会自动重载。

    • 至于 items 使用就比较简单了,如果一个 ConfigMap 中包含多个配置文件,但是只想暴露出来其中一部分,那么可以通过 items 方式进行指定。当然你也可以对文件设置读写权限。

    Secret

    Secret 使用类似于 ConfigMap,支持两种形式的使用:

    • 将 Secret 作为环境变量暴露给容器进程使用。
    • 将 Secret 通过volume 数据卷提供给容器进程使用。

    看到这里你可能要说了,什么都一样,为啥还要 Secret,一个 ConfigMap 解决问题不就完事了,其实不然,Secret 顾名思义,是用于存储加密数据的,老版本 Kubernetes 只支持 base64 加密,学过计算机的都知道 base64 那就不是什么加密,只是对字符串进行了 encode 编码,通过 decode 直接可以解出明文。但后来新版本的 Kubernetes 已经实现了真正意义上的加解密,所以 Secret 存在是有一定意义的,使用方式跟 ConfigMap 类似,但是命令确不一样。

    1.创建 Secret 输入如下:

    kubectl create secret generic nginx-ssl --from-file=ca.key --from-file=ca.cert
    

    2.查看 Secret 输入如下所示:

    # kubectl get secret
    NAME                  TYPE                                  DATA   AGE
    default-token-7h5z9   kubernetes.io/service-account-token   3      6d13h
    nginx-ssl             Opaque                                2      21h
    
    # kubectl get secret nginx-ssl -o yaml
    apiVersion: v1
    data:
      ca.crt: QmFnIEF0dHJpYnV0ZXMKICAgIGZy.......................
      ca.key: QmFnIEF0dHJpYnV0ZXMKICAgIGZy......................
    kind: Secret
    .....................
    

    3.Pod 引用方式

    .....................
    - containerPort: 80
            volumeMounts:
              - mountPath: /home/nginx/nginx/conf/cert/
                name: nginx-ssl
          volumes:
          - name: nginx-ssl
            secret:
              secretName: nginx-ssl
    .....................
    

    应用程序怎么做到不重启情况下读取最新配置

    上面已经提及使用环境变量和单文件挂载形式,无法实现热更新,但是通过 数据卷形式可以实现宿主机和 Pod 内部读取配置的实时更新,但是有一点需要注意的是 ConfigMap 更新,数据卷也更新了,如果你的应用进程不进行配置重载,即实时读取配置数据,同样还是使用的老配置。这个问题可以通过把 Pod 的副本数减少到 0 进行重建 Pod 解决。这种方式虽然能够解决服务重新加载问题,但是也会带来问题。因为可能会导致同一套服务,配置不一致的问题,因此,如果业务对实时性要求高,建议改成服务实时加载配置。

    总结一下,Kubernetes 只是把配置实时同步到数据卷配置文件中,至于加载时机,还要看自己的应用程序。

    举个例子,nginx 配置存储在 Kubernetes ConfigMap 里面,公钥信息存储在 Secret 中,nginx 充当服务里面的反向代理,因为端口资源规划问题,需要修改 nginx 配置文件中端口,修改完成后,Pod 中的数据卷配置信息发生变化,但 nginx 并不会重载已经修改的配置信息。通过如下命令行修改,修改完成后,发现 Pod 中 nginx 配置生效。

    kubectl exec nginx -c nginx -- /usr/local/nginx/sbin/nginx -s reload
    
  • 相关阅读:
    redis 储存对象
    redis key 查看器
    c# 控制台程序编写RabbitMQ 生产者
    C# 使用Topshelf 构建 基于 window 服务的 RabbitMQ消费端
    asp.net webapi 使用定时任务Hangfire
    asp.net webpi 中使用 ClientHelper 发起HTTP请求
    SQL Server 导入和导出向导 未在本地计算机上注册Mircrosoft.ACE.OLEDB.12.0 提供程序
    c# 使用Linq 表达式 对查询结果分组,保留价格最低的一条
    Asp.Net s请求报传输流收到意外的 EOF 或 0 个字节
    asp.net webapi 中使用rdlc 报表
  • 原文地址:https://www.cnblogs.com/sanduzxcvbnm/p/16173126.html
Copyright © 2020-2023  润新知