ConfigMap
1、什么是 ConfigMap?
ConfigMap 是用来存储配置文件的 Kubernetes 资源对象,配置对象存储在 Etcd 中,配置的形式可以是完整的配置文件、key/value 等形式。
2、ConfigMap 能带来什么好处?
传统的应用服务,每个服务都有自己的配置文件,各自配置文件存储在服务所在节点,对于单体应用,这种存储没有任何问题,但是随着用户数量的激增,一个节点不能满足线上用户使用,故服务可能从一个节点扩展到十个节点,这就导致,如果有一个配置出现变更,就需要对应修改十次配置文件。这种人肉处理,显然不能满足线上部署要求,故引入了各种类似于 ZooKeeper 中间件实现的配置中心,但配置中心属于 “侵入式” 设计,需要修改引入第三方类库,它要求每个业务都调用特定的配置接口,破坏了系统本身的完整性,而Kubernetes 利用了 Volume 功能,完整设计了一套配置中心,其核心对象就是ConfigMap,使用过程不用修改任何原有设计,即可无缝对 ConfigMap;为什么呢?
如图(1)所示,
1.ConfigMap 相当于放入原生应用的配置文件,可以是一个或者多个;
2.容器启动之后,到宿主机中拉取 ConfigMap 的内容,生成本地文件,通过 volume 形式映射到容器内部指定目录上;
3.容器中应用程序按照原有方式读取容器特定目录上的配置文件。
在容器看来,配置文件就像是打包在容器内部特定目录,整个过程对应用没有任何侵入。
3、ConfigMap 三种创建方式
- 指定字面键值对进行创建,创建命令如下所示:
kubectl create configmap configmaptest --from-literal=foo=bar --from-literal=one=two
创建完成后通过如下方式查看:
# kubectl get configmap configmaptest -o yaml
apiVersion: v1
data:
foo: bar
one: two
kind: ConfigMap
metadata:
creationTimestamp: "2020-04-14T13:53:42Z"
name: configmaptest
namespace: default
resourceVersion: "613402"
selfLink: /api/v1/namespaces/default/configmaps/configmaptest
uid: 59b91eb4-7e57-11ea-83c7-509a4c36e19d
- 指定特定文件进行创建
kubectl create configmap config-files --from-file=/home/conf/db.properties
可以通过如下方式进行查看,(内容过长,影响阅读,省略 ConfigMap 元信息。)
# kubectl get configmap test-config -o yaml
apiVersion: v1
data:
db.properties: |
driverClassName=com.mysql.jdbc.Driver
......
- 指定特定文件夹进行创建
kubectl create configmap config-dir --from-file=/home/conf/config-test
通过如下方式进行查看
# kubectl get configmap config-test -o yaml
apiVersion: v1
data:
db.properties: |
# 数据源配置
driverClassName=com.mysql.jdbc.Driver
......
logback.xml: "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n<configuration debug=\"true\"
......
svc.properties: |
#server
protocol=tcp
.......
system.properties: |
time=100
.......
如上描述三种基本的 ConfigMap 创建方式,当然也可以使用合并不同选项进行创建配置文件,具体如下所示:
kubectl create configmap config-mix --from-file=/home/conf/biz/ --from-file=/home/conf/db.xml --from-literal=one=two
看到这么多,你可能会想到,--from-file
最后一级如果是文件夹会怎样呢?如你所想,文件夹其实不会被包含,只会查找最后一级目录下的文件。
4、ConfigMap 作为环境变量三种使用方式
- 单个引用
1.首先创建 ConfigMap
kubectl create configmap nginx-config --from-literal=code=25 --from-literal=foo=bar --from-literal=one=two
2.Deployment yaml中引用 ConfigMap 设置环境变量,如图(2)所示
键名是CODE-TIME,值是configmap中名为nginx-config的键是code的值
3.通过如下方式进行查看,环境变量是否生效,可以发现,容器环境中已经存在引用ConfigMap中的环境变量
# kubectl exec nginx-7c958f6448-z5q56 -it /bin/bash
[root@nginx-7c958f6448-z5q56 /]# env|grep CODE
CODE-TIME=25
- 多个引用
1.一次性传递所有ConfigMap条目作为环境变量,如图(3)所示
可以通过如下方式进行查看环境变量是否生效,如下所示每个环境变量都按照预设,添加了配置的前缀,有人可能要说,我的配置文件中原来是什么配置现在还保留什么配置,不需要添加预设前缀,那么请查看如图(4)通过把前缀设置为空串,即可保持原有配置方式。
# kubectl exec nginx-84ccdff98d-vgzcw -it /bin/bash
[root@nginx-84ccdff98d-vgzcw /]# env|grep CODE
CODE_foo=bar
CODE_code=25
CODE_one=two
- args 方式传递环境变量
容器启动时,传递该变量到服务,运行 shell 脚本,可能会用到,具体设置方式如图(5)所示:
以上解释了通过在 yaml 设置 env 引用 ConfigMap 中配置作为环境变量的使用,在使用过程中,我参考了 《Kubernetes In Action》这本书,发现此书中有一段是这样描述的,如图(6)所示:
其大概意思是,配置键中不能包含破折号,如果包含则不能设置到环境变量中,此书这部分是基于 Kubernetes 1.6 进行编撰,而我使用的是 kubernetes 1.14,不清楚是不是因为 Kubernetes 已经改进的原因,还是其他原因,我有两点不解的地方。破折号(——)大多都是指特别长的符号,在编码过程中很少有人使用这个,即使使用了,Kubernetes 根本无法保存成功。又何谈环境变量一说呢?会提示如图(7),图(8)所示错误:
如果破折号换成英文半角字符 - 中划线呢?如图(9)所示,是可以保存成功的。当然也可以用于环境变量中。
当然通过如上方式设置完成之后,就可以直接在容器内部使用环境变量读取已经设置的配置,但是使用环境变量的方式有一个致命的缺点是,当外部 ConfigMap 更新配置完成之后,容器内部环境变量并不会随之改变,这是因为 ENV 是容器启动时候注入的,启动之后 Kubernetes 就不会改变 ENV 的值,即配置不能同步更新,只能通过重启容器方式,配置才能生效。
5.挂载 volume
这种方式则是通过 volume 形式映射到容器内部指定目录上,容器内部进程直接读取该目录下特定文件,这种方式是我们常用的一种方式,具体使用时如下所示:
......
- containerPort: 80
volumeMounts:
- mountPath: /usr/local/nginx/conf/vhost/
name: http
- mountPath: /usr/local/nginx/html/foo
subPath: foo
name: nginx-html
volumes:
- name: http
configMap:
name: nginx-conf
- name: nginx-html
configMap:
name: configmaptest
items:
- key: foo
path: foo
......
volumeMounts 是容器内部指定挂载目录,volumes 是引用目录,即宿主机设置 ConfigMap 文件地址。
- 可以直接挂载一个目录到容器内部,当宿主机通过如下方式修改 configmap 那么容器内部配置将随之改变,一次性修改所有文件。但是使用这种方式有一个问题需要注意,如果挂载到容器内部的文件夹下存在其它文件,这种挂载方式将直接覆盖原有文件夹下的文件。
# kubectl edit configmap configmaptest
configmap/configmaptest edited
-
如果有特定需求,需要挂载某个特定文件,而不允许覆盖原有文件,可以挂载到指定文件,通过 subPath 配合指定文件。但是单个文件挂载这种方式不能实现热更新,即宿主机 ConfigMap 文件发生变化,容器内部不会自动重载。
-
至于 items 使用就比较简单了,如果一个 ConfigMap 中包含多个配置文件,但是只想暴露出来其中一部分,那么可以通过 items 方式进行指定。当然你也可以对文件设置读写权限。
Secret
Secret 使用类似于 ConfigMap,支持两种形式的使用:
- 将 Secret 作为环境变量暴露给容器进程使用。
- 将 Secret 通过volume 数据卷提供给容器进程使用。
看到这里你可能要说了,什么都一样,为啥还要 Secret,一个 ConfigMap 解决问题不就完事了,其实不然,Secret 顾名思义,是用于存储加密数据的,老版本 Kubernetes 只支持 base64 加密,学过计算机的都知道 base64 那就不是什么加密,只是对字符串进行了 encode 编码,通过 decode 直接可以解出明文。但后来新版本的 Kubernetes 已经实现了真正意义上的加解密,所以 Secret 存在是有一定意义的,使用方式跟 ConfigMap 类似,但是命令确不一样。
1.创建 Secret 输入如下:
kubectl create secret generic nginx-ssl --from-file=ca.key --from-file=ca.cert
2.查看 Secret 输入如下所示:
# kubectl get secret
NAME TYPE DATA AGE
default-token-7h5z9 kubernetes.io/service-account-token 3 6d13h
nginx-ssl Opaque 2 21h
# kubectl get secret nginx-ssl -o yaml
apiVersion: v1
data:
ca.crt: QmFnIEF0dHJpYnV0ZXMKICAgIGZy.......................
ca.key: QmFnIEF0dHJpYnV0ZXMKICAgIGZy......................
kind: Secret
.....................
3.Pod 引用方式
.....................
- containerPort: 80
volumeMounts:
- mountPath: /home/nginx/nginx/conf/cert/
name: nginx-ssl
volumes:
- name: nginx-ssl
secret:
secretName: nginx-ssl
.....................
应用程序怎么做到不重启情况下读取最新配置
上面已经提及使用环境变量和单文件挂载形式,无法实现热更新,但是通过 数据卷形式可以实现宿主机和 Pod 内部读取配置的实时更新,但是有一点需要注意的是 ConfigMap 更新,数据卷也更新了,如果你的应用进程不进行配置重载,即实时读取配置数据,同样还是使用的老配置。这个问题可以通过把 Pod 的副本数减少到 0 进行重建 Pod 解决。这种方式虽然能够解决服务重新加载问题,但是也会带来问题。因为可能会导致同一套服务,配置不一致的问题,因此,如果业务对实时性要求高,建议改成服务实时加载配置。
总结一下,Kubernetes 只是把配置实时同步到数据卷配置文件中,至于加载时机,还要看自己的应用程序。
举个例子,nginx 配置存储在 Kubernetes ConfigMap 里面,公钥信息存储在 Secret 中,nginx 充当服务里面的反向代理,因为端口资源规划问题,需要修改 nginx 配置文件中端口,修改完成后,Pod 中的数据卷配置信息发生变化,但 nginx 并不会重载已经修改的配置信息。通过如下命令行修改,修改完成后,发现 Pod 中 nginx 配置生效。
kubectl exec nginx -c nginx -- /usr/local/nginx/sbin/nginx -s reload