Kubernetes 多租户：资源配额

资源配额用于管理命名空间中对象使用的资源量，我们可以按 CPU 和内存用量或对象数量来设置配额。通过资源配额，可以确保租户不会使用超过其分配份额的集群资源。

资源配额是通过 ResourceQuota 资源对象来定义的，可以对每个 namespace 的资源消耗总量提供限制。它可以按类型限制 namespace 下可以创建的对象的数量，也可以限制可被该项目以资源形式消耗的计算资源的总量。

资源配额的工作方式如下：

• 管理员为每个 namespace 创建一个或多个资源配额对象
• 用户在 namespace 下创建资源 (pods、 services 等)，同时配额系统会跟踪使用情况，来确保其不超过资源配额中定义的硬性资源限额
• 如果资源的创建或更新违反了配额约束，则请求会失败，并返回 HTTP 状态码 403 FORBIDDEN，以及说明违反配额约束的信息
• 如果 namespace 下的计算资源（如 cpu 和 memory）的配额被启用，则用户必须为这些资源设定请求值（request） 和约束值（limit），否则配额系统将拒绝 Pod 的创建。

可使用 LimitRange 准入控制器来为没有设置计算资源需求的Pod设置默认值。

Kubernetes 中主要有3个层级的资源配额控制：

• 容器：可以对 CPU 和 Memory 进行限制
• POD：可以对一个 Pod 内所有容器的的资源进行限制
• Namespace：为一个命名空间下的资源进行限制

其中容器层次主要利用容器本身的支持，比如 Docker 对 CPU、内存等的支持；Pod 方面可以限制系统内创建 Pod 的资源范围，比如最大或者最小的 CPU、memory 需求；Namespace 层次就是对用户级别的资源限额了，包括 CPU、内存，还可以限定 Pod、RC、Service 的数量。

要使用资源配额的话需要确保 apiserver的 --enable-admission-plugins= 参数中包含 ResourceQuota，当 namespace 中存在一个 ResourceQuota 对象时，该 namespace 即开始实施资源配额的管理工作了，另外需要注意的是一个 namespace 中最多只应存在一个 ResourceQuota 对象。

资源配额控制器支持的配额控制资源主要包括：计算资源配额、存储资源配额、对象数量资源配额以及配额作用域，下面我们来分别看看这些资源的具体信息：

计算资源配额

用户可以对给定 namespace 下的计算资源总量进行限制，支持的资源类型如下所示：

比如我们现在来为一个命名空间创建内存和 CPU 配额，首先创建一个测试用的命名空间：

$ kubectl create namespace quota-mem-cpu-example

然后定义一个如下所示的资源配额资源对象：（quota-mem-cpu.yaml）

apiVersion: v1
kind: ResourceQuota
metadata:
  name: mem-cpu-demo
  namespace: quota-mem-cpu-example
spec:
  hard:
    requests.cpu: "1"
    requests.memory: 1Gi
    limits.cpu: "2"
    limits.memory: 2Gi

直接创建这个资源对象：

$ kubectl apply -f quota-mem-cpu.yaml
resourcequota/mem-cpu-demo created

然后我们查看下上面我们创建的 ResourceQuota 对象：

$ kubectl describe quota mem-cpu-demo -n quota-mem-cpu-example
Name:            mem-cpu-demo
Namespace:       quota-mem-cpu-example
Resource         Used  Hard
--------         ----  ----
limits.cpu       0     2
limits.memory    0     2Gi
requests.cpu     0     1
requests.memory  0     1Gi

比如现在我们来创建一个如下所示的 Pod：

apiVersion: v1
kind: Pod
metadata:
  name: quota-mem-cpu-demo
  namespace: quota-mem-cpu-example
spec:
  containers:
  - name: quota-mem-cpu-demo-ctr
    image: nginx
    resources:
      limits:
        memory: "800Mi"
        cpu: "800m" 
      requests:
        memory: "600Mi"
        cpu: "400m"

直接创建这个 Pod：

$ kubectl apply -f quota-mem-cpu-pod.yaml
$ kubectl get pods -n quota-mem-cpu-example
NAME                 READY   STATUS    RESTARTS   AGE
quota-mem-cpu-demo   1/1     Running   0          32s

可以看到这个 Pod 已经正常运行起来了，这个时候我们再看一次上面我们定义的资源配额对象：

$ kubectl describe quota mem-cpu-demo -n quota-mem-cpu-example
Name:            mem-cpu-demo
Namespace:       quota-mem-cpu-example
Resource         Used   Hard
--------         ----   ----
limits.cpu       800m   2
limits.memory    800Mi  2Gi
requests.cpu     400m   1
requests.memory  600Mi  1Gi

我们可以看到已经明确告诉我们已经使用了多少计算资源了，比如内存的请求值只剩 400Mi（1Gi-600Mi）资源了，我们现在来创建一个大于 400Mi 请求内存的资源测试下：(quota-mem-cpu-pod-2.yaml)

apiVersion: v1
kind: Pod
metadata:
  name: quota-mem-cpu-demo-2
  namespace: quota-mem-cpu-example
spec:
  containers:
  - name: quota-mem-cpu-demo-2-ctr
    image: redis
    resources:
      limits:
        memory: "1Gi"
        cpu: "800m"      
      requests:
        memory: "700Mi"
        cpu: "400m"

这个时候我们来创建这个资源对象：

$ kubectl apply -f quota-mem-cpu-pod-2.yaml 
Error from server (Forbidden): error when creating "quota-mem-cpu-pod-2.yaml": pods "quota-mem-cpu-demo-2" is forbidden: exceeded quota: mem-cpu-demo, requested: requests.memory=700Mi, used: requests.memory=600Mi, limited: requests.memory=1Gi

可以看到已经被拒绝了，因为 requests.memory 已经超过了我们的资源配额的限制了。

从上面的练习来看我们可以使用 ResourceQuota 来限制命名空间中运行的所有容器的 CPU 和 内存的资源配额总数，如果限制单个容器而不是所有容器的总数，就需要使用 LimitRange 资源对象了。另外如果在一个命名空间下面计算资源（如 CPU 和内存）的配额被启用了，则用户必须为这些资源设置请求值（request）和约束值（limit），否则配额系统将拒绝 Pod 的创建，除非我们配置了 LimitRange 资源对象。

要使用 LimitRange 同样需要在 --enable-admission-plugins= 参数中开启 LimitRanger。比如现在我们来配置一个命名空间中容器的最小和最大的内存限制，我们创建一个命名空间来进行配置：

$ kubectl create namespace constraints-mem-example

然后创建一个 LimitRange 的配置资源文件：(memory-constraints.yaml)

apiVersion: v1
kind: LimitRange
metadata:
  name: mem-min-max-demo-lr
  namespace: constraints-mem-example
spec:
  limits:
  - max:
      memory: 1Gi
    min:
      memory: 500Mi
    type: Container

创建这个资源对象：

$ kubectl apply -f memory-constraints.yaml

然后我们可以查看 LimitRange 的详细信息：

$ kubectl get limitrange mem-min-max-demo-lr --namespace=constraints-mem-example --output=yaml
......
  limits:
  - default:
      memory: 1Gi
    defaultRequest:
      memory: 1Gi
    max:
      memory: 1Gi
    min:
      memory: 500Mi
    type: Container

上面输出显示了最小和最大的内存约束，但是要注意即使我们没有指定默认值，他们也会自动创建的。现在，只要在 constraints-mem-example 命名空间中创建容器，Kubernetes 就会执行下面的步骤：

• 如果 Container 未指定自己的内存请求和限制，将为它指定默认的内存请求和限制
• 验证 Container 的内存请求是否大于或等于 500 MiB
• 验证 Container 的内存限制是否小于或等于1 GiB

下面我们这里来创建一个 Pod，其中容器声明了 600 MiB 的内存请求和 800 MiB 的内存限制，这些满足了 LimitRange 的最小和最大内存约束：(memory-constraints-pod.yaml)

apiVersion: v1
kind: Pod
metadata:
  name: constraints-mem-demo
  namespace: constraints-mem-example
spec:
  containers:
  - name: constraints-mem-demo-ctr
    image: nginx
    resources:
      limits:
        memory: "800Mi"
      requests:
        memory: "600Mi"

然后直接创建即可：

$ kubectl create -f memory-constraints-pod.yaml 
$ kubectl get pods -n constraints-mem-example
NAME                   READY   STATUS    RESTARTS   AGE
constraints-mem-demo   1/1     Running   0          2m5s

我们可以看到是可以正常运行的。

然后我们再创建一个超过最大内存限制的 Pod 测试下：(memory-constraints-pod2.yaml)

apiVersion: v1
kind: Pod
metadata:
  name: constraints-mem-demo-2
  namespace: constraints-mem-example
spec:
  containers:
  - name: constraints-mem-demo-2-ctr
    image: nginx
    resources:
      limits:
        memory: "1.5Gi"
      requests:
        memory: "800Mi"

现在我们来创建下这个资源对象：

$ kubectl apply -f memory-constraints-pod2.yaml 
Error from server (Forbidden): error when creating "memory-constraints-pod2.yaml": pods "constraints-mem-demo-2" is forbidden: maximum memory usage per Container is 1Gi, but limit is 1536Mi

输出结果显示 Pod 没有创建成功，因为容器声明的内存限制太大了。我们也可以去尝试下创建一个小于最小内存限制的 Pod 或没有声明内存请求和限制的 Pod。

存储资源配额

用户可以对给定 namespace 下的存储资源总量进行限制，此外，还可以根据相关的存储类（Storage Class）来限制存储资源的消耗。

对象数量配额

给定类型的对象数量可以被限制。 支持以下类型：

Qos 服务质量

https://kubernetes.io/docs/tasks/configure-pod-container/quality-service-pod/