• k8s的安全管理

    目录

    前言

    • 部署态的安全控制
      • 认证
      • 鉴权
      • Admission(准入控制)
      • pod securitycontext
    • 运行态的安全控制
      • network policy

    众所周知，kubernetes API是kubernetes的核心组件，kubernetes API以REST接口的形式将Pods、Service、Deployment等信息定义为资源，而这些资源我们又是怎样操作它们的呢？在kubernetes 1.6之后社区逐渐使用RBAC的认证模式，下面将会详细介绍这种认证模式。

    1.k8s的认证

    认证方式有：X509、service account、Authentication proxy、WebHook、username/password等等

    1.x509认证

    • kube-apiservver的启动参数 --client-ca-file=ca.pem 指定x509的根证书公钥，请求中需要带有该根证书签名的证书，才能认证通过
    • 客户端签署的证书里包含user、group信息

    2.Service Account（为k8s必选认证方式）

    • kube-apiserver的启动参数 --service-account-key-file=ca-key.pem 指定pem文件，用以生成 bearer token： “--service-account-lookup=true/false”表示在删除service account后其token是否被吊销
    • serviceaccount admission默认给pod打上servicea count，当然用户也可以自行指定所需要的service account

    2.k8s的鉴权之RBAC

    1.基本概念

    RBAC(Role-Based Access Control，基于角色的访问控制)在k8s v1.5中引入，在v1.6版本时升级为Beta版本，并成为kubeadm安装方式下的默认选项，相对于其他访问控制方式，新的RBAC具有如下优势：

    • 对集群中的资源和非资源权限均有完整的覆盖
    • 整个RBAC完全由几个API对象完成，同其他API对象一样，可以用kubectl或API进行操作
    • 可以在运行时进行调整，无需重启API Server
    • 要使用RBAC授权模式，需要在API Server的启动参数中加上--authorization-mode=RBAC

    2 K8S之RBAC原理

    RBAC引入了4个新的顶级资源对象：Role、ClusterRole、RoleBinding、ClusterRoleBinding。同其他API资源对象一样，用户可以使用kubectl或者API调用等方式操作这些资源对象。

    • 一共有三种对象，分别是账户、角色、权限。
    • 在定义角色时赋予权限，然后角色绑定给账户，那么账户就有了相应的权限，一个账户可以绑定多个角色，可以方便进行多权限的灵活控制。
    • 一个角色都唯一对应了secret，然后通过查看secret的详细信息，找到token字段，使用token的值进行登录，那么就有了这个角色所对应的权限
      • kubectl get secret -n kube-system #查看secret
      • kubectl describe secret kubernetes-dashboard-token-xnvct -n kube-system #查看指定secret的详细信息，并复制token值，进行登录
    • 账户分为用户账户和服务账户
    • 角色分为role和clusterrole。
    • 绑定角色就有两种，分别是rolebinding和clusterrolebinding

    3.RBAC中的资源对象

    3.1角色(Role)

    　　 一个角色就是一组权限的集合，这里的权限都是许可形式的，不存在拒绝的规则。在一个命名空间中，可以用角色来定义一个角色，如果是集群级别的，就需要使用ClusterRole了。

    　　 角色只能对命名空间内的资源进行授权，下面的例子中定义的角色具备读取Pod的权限：··

    kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
    namespace: default
    name: pod-reader

rules:
- apiGroups: [""]  # 空字符串表示核心API群
  resource: ["pods"]
  verbs: ["get", "watch", "list"]

    rules中的参数说明：

    • apiGroup：支持的API组列表，例如：APIVersion: batch/v1、APIVersion: extensions:v1、apiVersion:apps/v1等
    "","apps", "autoscaling", "batch"
    • resources：支持的资源对象列表，例如：pods、deployments、jobs等
    "services", "endpoints", "pods","secrets","configmaps","crontabs","deployments","jobs","nodes","rolebindings","clusterroles","daemonsets","replicasets","statefulsets","horizontalpodautoscalers","replicationcontrollers","cronjobs"
    • verbs：对资源对象的操作方法列表，例如：get、watch、list、delete、replace、patch等
    "get", "list", "watch", "create", "update", "patch", "delete", "exec","redirect","proxy","deletecollection"

    3.2 集群角色(ClusterRole)

    集群角色除了具有和角色一致的命名空间内资源的管理能力，因其集群级别的范围，还可以用于以下特殊元素的授权。

    Role会指定namespace，ClusterRole不需要指定namespace，因为它作用于整个namespace上。

    ClusterRole与Role的主要区别有：

    • 可以针对集群资源（如nodes）
    • 可以作用于非资源类型endpoints（如/healthz）
    • 可以作用于整个namespace上（如kubectl get pods--all-namespaces上的资源）

    下面的集群角色可以让用户有权访问任意一个或所有命名空间的secrets：

    kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  # "namespace" omitted since ClusterRoles are not namespaced
  name: secret-reader
rules:
- apiGroups: [""]
  resources: ["secrets"]
  verbs: ["get", "watch", "list"]

    3.3 角色绑定(RoleBinding)

    RoleBinding或ClusterRoleBinding主要的作用是将主体（如user、serviceaccount等）与Role或ClusterRole进行绑定，这样就可以使得user、group或serviceAccount主体具有指定角色的权限规则。

    1）Role绑定 RoleBinding

    RoleBinding可以引用Role进行授权，下例中的RoleBinding将在default命名空间中把pod-reader角色授予用户wanglei，可以让wanglei用户读取default命名空间的Pod：

    apiVersion: rbac.authorization.k8s.io/v1
# This role binding allows "jane" to read pods in the "default" namespace.
kind: RoleBinding
metadata:
  name: read-pods
  namespace: default
subjects:
- kind: User
  name: wanglei # Name is case sensitive
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: Role #this must be Role or ClusterRole
  name: pod-reader # this must match the name of the Role or ClusterRole you wish to bind to
  apiGroup: rbac.authorization.k8s.io

    subjects为作用的主体可以为user或者serviceAccount，roleRef代表与Role或者ClusterRole进行绑定，这样jane用户就具有pod-reader对应的权限了。

    需要注意的是，如果想通过更改当前Role或者ClusterRole中的规则来改变权限规则，这样是错误的，可以通过删除现有规则重新绑定的方法来实现。可以使用kubectl auth命令更新现有规则。

    可以使用kubectl get role, rolebinding -n kube-system查看现有集群role使用情况

    2）ClusterRole绑定 RoleBinding

    RoleBinding也可以引用ClusterRole，对属于同一命名空间内ClusterRole定义的资源主体进行授权。一种常见的做法是集群管理员为集群范围预先定义好一组角色(ClusterRole)，然后在多个命名空间中重复使用这些ClusterRole。

    使用RoleBinding绑定集群角色secret-reader，使dave只能读取development命名空间中的secret：

    kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: read-secrets
  namespace: development

subjects:
- kind: User
  name: dave
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: ClusterRole
  name: secret-reader
  apiGroup: rbac.authorization.k8s.io

    如果集群中有多个namespace分配给不同的管理员，但是他们的权限是一样的，那么这样可以先定义一个ClusterRole，然后通过RoleBinding将不同namespace的管理员做绑定，这样可以解决多次定义Role的问题。

    3.4 集群角色绑定(ClusterRoleBinding)

    集群角色绑定中的角色只能是集群角色，用于进行集群级别或者对所有命名空间都生效的授权。

    允许manager组的用户读取任意namespace中的secret

    kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: read-secrets-global
subjects:
- kind: Group
  name: manager
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: ClusterRole
  name: secret-reader
  apiGroup: rbac.authorization.k8s.io

    4.RBAC-

    4.1对资源的引用方式

    多数资源可以用其名称的字符串来表达，也就是Endpoint中的URL相对路径，例如pods。然后，某些Kubernetes API包含下级资源，例如Pod的日志(logs)。Pod日志的Endpoint是GET /api/v1/namespaces/{namespaces}/pods/{name}/log

    Pod是一个命名空间内的资源，log就是一个下级资源。要在一个RBAC角色中体现，则需要用斜线/来分割资源和下级资源。若想授权让某个主体同时能够读取Pod和Pod log，则可以配置resources为一个数组：

    kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  namespace: default
  name: pod-and-pod-logs-reader
rules:
- apiGroups: [""]
  resources: ["pods", "pods/log"]
  verbs: ["get", "list"]

    资源还可以通过名字(ResourceName)进行引用。在指定ResourceName后，使用get、delete、update、patch动词的请求，就会被限制在这个资源实例范围内。例如下面的声明让一个主体只能对一个叫my-configmap的configmap进行get和update操作：

    kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  namespace: default
  name: configmap-updater
rules:
- apiGroups: [""]
  resources: ["configmap"]
  resourceNames: ["my-configmap"]
  verbs: ["update", "get"]

    4.2 Aggregated ClusterRoles聚合类ClusterRoles

    在1.9版本之后，ClusterRoles可以使用aggregationRule规则，将具有相同标签的规则作为统一主体完成授权操作。

    apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: monitoring
aggregationRule:
  clusterRoleSelectors:
  - matchLabels:
      rbac.example.com/aggregate-to-monitoring: "true"
rules: [] # Rules are automatically filled in by the controller manager.

    通过aggregationRule选项，将匹配matchLabels中包含monitoring标签的规则。

    apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: monitoring-endpoints
  labels:
    rbac.example.com/aggregate-to-monitoring: "true"
# These rules will be added to the "monitoring" role.
rules:
- apiGroups: [""]
  resources: ["services", "endpoints", "pods"]
  verbs: ["get", "list", "watch"]

    可以通过这种标签聚会的方式，将多个ClusterRole聚会成统一的规则策略。

    5.RBAC-常见的Role示例

    5.1 允许读取核心API组中Pod的资源：

    rules:
- apiGroups: [""]
  resources: ["pods"]
  verbs: ["get", "list", "watch"]

    5.2 允许读写"extensions"和"apps"两个API组中的deployment资源

    rules:
- apiGroups: ["extensions", "apps"]
  resources: ["deployments"]
  verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]

    5.3 允许读写pods及读写jobs

    rules:
- apiGroups: [""]
  resources: ["pods"]
  verbs: ["get", "list", "watch"]
- apiGroups: ["batch", "extensions"]
  resources: ["jobs"]
  verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]

    5.4 允许读取一个名为my-config的ConfigMap(必须绑定到一个RoleBinding来限制到一个namespace下的ConfigMap)：

    rules:
- apiGroups: [""]
  resources: ["configmaps"]
  resourceNames: ["my-config"]
  verbs: ["get"]

    5.5 读取核心组的node资源(Node属于集群级别的资源，必须放在ClusterRole中，并使用ClusterRoleBinding进行绑定)：

    rules:
- apiGroups: [""]
  resources: ["nodes"]
  verbs: ["get", "list", "watch"]

    5.6 允许对非资源端点/healthz及其所有子路径进行GET/POST操作(必须使用ClusterRole和ClusterRoleBinding)：

    rules:
- nonResourceURLs: ["/healthz", "/healthz/*"]
  verbs: ["get", "post"]

    6.常用的角色绑定

    6.1. 用户名wanglei@example.com

    subjects:
- kind: User
  name: "wanglei@example.com"
  apiGroup: rbac.authorization.k8s.io

    6.2 组名frontend-admins

    subjects:
- kind: Group
  name: "frontend-admins"
  apiGroup: rbac.authorization.k8s.io

    6.3 kube-system命名空间中的默认Service Account

    subjects:
- kind: ServiceAccount
  name: default
  namespace: kube-system

    6.4 qa命名空间中的所有Service Account

    subjects:
- kind: Group
  name: system:serviceaccounts:qa
  apiGroup: rbac.authorization.k8s.io

    6.5 所有Service Account

    subjects:
- kind: Group
  name: system:serviceaccounts
  apiGroup: rbac.authorization.k8s.io

    6.6 所有认证用户

    subjects:
- kind: Group
  name: system:authentication
  apiGroup: rbac.authorization.k8s.io

    6.7 所有未认证用户

    subjects:
- kind: Group
  name: system:unauthentication
  apiGroup: rbac.authorization.k8s.io

    6.8 全部用户

    subjects:
- kind: Group
  name: system:authentication
  apiGroup: rbac.authorization.k8s.io
- kind: Group
  name: system:unauthentication
  apiGroup: rbac.authorization.k8s.io

    7 默认的角色和角色绑定

    API Server会创建一套默认的ClusterRole和ClusterRoleBinding对象，其中很多是以system:为前缀的，以表明这些资源属于基础架构，对这些对象的改动可能造成集群故障。

    所有默认的ClusterRole和RoleBinding都会用标签kubernetes.io/bootstrapping=rbac-defaults进行标记。

    常见的系统角色如下：

    有些默认角色不是以system:为前缀的，这部分角色是针对用户的，其中包含超级用户角色cluster-admin，有的用于集群一级的角色cluster-status，还有针对namespace的角色admin、edit、view

    常见的用户角色如下：

    核心Master组件角色

    8 授权注意事项：预防提权和授权初始化

    RBAC API拒绝用户利用编辑角色或者角色绑定的方式进行提权。这一限制是在API层面做出的，因此即使RBAC没有启用也仍然有效。

    　　用户只能在拥有一个角色的所有权限，且与该角色的生效范围一致的前提下，才能对角色进行创建和更新。例如用户user-1没有列出集群中所有secret的权限，就不能创建具有这一权限的集群角色。要让一个用户能够创建或更新角色，需要以下权限：

    • 为其授予一个允许创建/更新Role或ClusterRole资源对象的角色；
    • 为用户授予角色，要覆盖该用户所能控制的所有权限范围。用户如果尝试创建超出其自身权限的角色或者集群角色，则该API调用会被禁止。

    如果一个用户的权限包含了一个角色的所有权限，那么就可以为其创建和更新角色绑定；或者如果被授予了针对某个角色的绑定授权，则也有权完成此操作。

    　　例如：user1没有列出集群内所有secret的权限，就无法为一个具有这样权限的角色创建集群角色绑定。要使用户能够创建、更新这一角色绑定，则需要有如下做法：

    • 为其授予一个允许创建和更新角色绑定或者集群角色绑定的角色

    　　 为其授予绑定某一角色的权限，有隐式或显式两种方法

    • 隐式：让其具有所有该角色的权限
      • 显式：让用户授予针对该角色或集群角色绑定操作的权限

    让user-1有对user-1-namespace命名空间中的其他用户授予admin、edit及view角色

    apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: role-grantor
rules:
- apiGroups: ["rbac.authorization.k8s.io"]
  resources: ["rolebindings"]
  verbs: ["create"]
- apiGroups: ["rbac.authorization.k8s.io"]
  resources: ["clusterroles"]
  verbs: ["bind"]
  resourceNames: ["admin", "edit", "view"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: role-grantor-binding
  namespace: user-1-namespace
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: role-grantor
subjects:
- apiGroup: rbac.authorization.k8s.io
  kind: User
  name: user-1

    3 Admission(准入控制)

    • kube-apiserver 的启动参数 --admission-control=podsecuritypolicy 新增podsecuritypolicyadmission
    • admin用户创建podsecuritypolicy策略，决定能创建什么样的pod
    • 创建pod的用户也必须赋予它能使用podsecuritypolicy策略的权限

    4.Pod Security Context 安全上下文

    5.Network Policy
  • 相关阅读:
    jmeter响应结果乱码问题
    JMeter 脚本请求错误 HTTP Status 415 的解决
    使用fiddler进行genymotion安卓虚拟机手机抓包
    Android模拟器Genymotion安装使用教程详解
    java基础-数组
    Qt类继承图
    Linux-磁盘管理小结
    User and User Groups in Linux
    Qt5.3编译错误——call of overloaded ‘max(int int)’is ambiguous
    i++ and ++i efficiency
  • 原文地址：https://www.cnblogs.com/dinghc/p/13885736.html
Copyright © 2020-2023  润新知