附017.Kubernetes_v1.17.4 Dashboard部署

一 Kubernetes dashboard简介

1.1 Web UI简介

dashboard是基于Web的Kubernetes用户界面。可以使用dashboard将容器化应用程序部署到Kubernetes集群，对容器化应用程序进行故障排除，以及管理集群资源。可以使用dashboard来概述群集上运行的应用程序，以及创建或修改单个Kubernetes资源（例如部署、任务、守护进程等）。可以使用部署向导扩展部署，启动滚动更新，重新启动Pod或部署新应用程序。

dashboard还提供有关群集中Kubernetes资源状态以及可能发生的任何错误的信息。

1.2 前置准备

本实验依赖于《附016.Kubernetes_v1.17高可用部署》，即已提前部署好Kubernetes。

二 dashboard部署

2.1 设置标签

[root@master01 ~]# kubectl label nodes master01 k8srole=master

[root@master01 ~]# kubectl label nodes master02 k8srole=master

[root@master01 ~]# kubectl label nodes master03 k8srole=master

[root@master01 ~]# kubectl taint nodes --all node-role.kubernetes.io/master- #允许master部署应用

提示：部署完内部应用后可使用kubectl taint node master01 node-role.kubernetes.io/master="":NoSchedule重新设置Master为Master Only 状态。

2.2 创建证书

由于自动生成的证书可能过期，建议手动生成证书，而取消yaml中自动创建secret的部分。

[root@master01 ~]# cd /etc/kubernetes/pki/

[root@master01 pki]# openssl genrsa -out dashboard.key 2048

[root@master01 pki]# openssl req -new -out dashboard.csr -key dashboard.key -subj "/CN=dashboard"

[root@master01 pki]# openssl x509 -req -sha256 -in dashboard.csr -out dashboard.crt -signkey dashboard.key -days 3650

[root@master01 pki]# openssl x509 -noout -text -in ./dashboard.crt #查看证书

2.3 分发证书

[root@master01 pki]# for all_ip in ${ALL_IPS[@]}

do

echo ">>> ${all_ip}"

scp /etc/kubernetes/pki/dashboard.* root@${all_ip}:/etc/kubernetes/pki/

done

2.4 手动创建secret

[root@master01 ~]# ll /etc/kubernetes/pki/dashboard.*

-rw-r--r-- 1 root root 1.2K Dec 3 03:10 /etc/kubernetes/pki/dashboard.crt

-rw-r--r-- 1 root root 976 Dec 3 03:10 /etc/kubernetes/pki/dashboard.csr

-rw-r--r-- 1 root root 1.7K Dec 3 03:09 /etc/kubernetes/pki/dashboard.key

[root@master01 ~]# kubectl create ns kubernetes-dashboard #v2版本dashboard独立ns

[root@master01 ~]# kubectl create secret generic kubernetes-dashboard-certs --from-file="/etc/kubernetes/pki/dashboard.crt,/etc/kubernetes/pki/dashboard.key" -n kubernetes-dashboard #以新证书创建dashboard的secret

[root@master dashboard]# kubectl get secret kubernetes-dashboard-certs -n kubernetes-dashboard -o yaml #查看新证书

2.5 下载yaml

[root@master01 ~]# mkdir /root/dashboard #建议将yaml存储到本地

[root@master01 ~]# cd /root/dashboard

[root@master01 dashboard]# wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta8/aio/deploy/recommended.yaml

2.6 修改为yaml

[root@master01 dashboard]# vi recommended.yaml

……					#如下新增管理员及角色授权为cluster-admin
---


apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin-user
  namespace: kubernetes-dashboard


---
……
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  type: NodePort				#新增
  ports:
    - port: 443
      nodePort: 30000				#新增
      targetPort: 8443
  selector:
    k8s-app: kubernetes-dashboard
---
……						#如下全部注释
#apiVersion: v1
#kind: Secret
#metadata:
#  labels:
#    k8s-app: kubernetes-dashboard
#  name: kubernetes-dashboard-certs
#  namespace: kubernetes-dashboard
#type: Opaque
……
---


apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: admin-user
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin-user
  namespace: kubernetes-dashboard


---
……
  replicas: 3					#适当调整为3副本
……
          imagePullPolicy: IfNotPresent		#修改
……
      nodeSelector:
        "beta.kubernetes.io/os": linux
        "k8srole": master			#部署在master节点
……
      nodeSelector:
        "beta.kubernetes.io/os": linux
        "k8srole": master			#部署在master节点
……						#注释从而实现在master的部署
      #tolerations:
      #  - key: node-role.kubernetes.io/master
      #    effect: NoSchedule
……
……
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: dashboard-metrics-scraper
  name: dashboard-metrics-scraper
  namespace: kubernetes-dashboard
spec:


  type: NodePort				#新增
  ports:
    - port: 8000
      nodePort: 30001				#新增
      targetPort: 8000
  selector:
    k8s-app: dashboard-metrics-scraper
……
   replicas: 3					#适当调整为3副本
……
      nodeSelector:
        "beta.kubernetes.io/os": linux
        "k8srole": master			#部署在master节点
……						#注释从而实现在master的部署
      #tolerations:
      #  - key: node-role.kubernetes.io/master
      #    effect: NoSchedule
……

提示：具体完整yaml参考附件。

2.6 正式部署

[root@master01 dashboard]# kubectl apply -f recommended.yaml

[root@master01 ~]# kubectl get deployment kubernetes-dashboard -n kubernetes-dashboard

[root@master01 ~]# kubectl get services -n kubernetes-dashboard

[root@master01 ~]# kubectl get pods -o wide -n kubernetes-dashboard

提示：master01 NodePort 30000/TCP映射到 dashboard pod 443 端口。

三 访问dashboard

3.1 导入证书

将dashboard.crt导入浏览器，并设置为信任，导入操作略。

3.2 创建kubeconfig文件

使用token相对复杂，可将token添加至kubeconfig文件中，使用KubeConfig 文件访问dashboard。

[root@k8smaster01 ~]# ADMIN_SECRET=$(kubectl get secrets -n kubernetes-dashboard | grep admin-user-token- | awk '{print $1}')

[root@k8smaster01 ~]# DASHBOARD_LOGIN_TOKEN=$(kubectl describe secret -n kubernetes-dashboard ${ADMIN_SECRET} | grep -E '^token' | awk '{print $2}')

[root@k8smaster01 ~]# kubectl config set-cluster kubernetes

--certificate-authority=/etc/kubernetes/pki/ca.crt

--embed-certs=true

--server=172.24.8.254:16443

--kubeconfig=dashboard_admin.kubeconfig # 设置集群参数

[root@k8smaster01 ~]# kubectl config set-credentials dashboard_user

--token=${DASHBOARD_LOGIN_TOKEN}

--kubeconfig=dashboard_admin.kubeconfig # 设置客户端认证参数，使用上面创建的 Token

[root@k8smaster01 ~]# kubectl config set-context default

--cluster=kubernetes

--user=dashboard_user

--kubeconfig=dashboard_admin.kubeconfig # 设置上下文参数

[root@k8smaster01 ~]# kubectl config use-context default --kubeconfig=dashboard_admin.kubeconfig # 设置默认上下文

#将dashboard.kubeconfig文件导入，以便于浏览器使用该文件登录。

3.3 测试访问dashboard

本实验采用nodeip:nodepord方式访问。

浏览器访问：https://172.24.8.254:30000

使用dashboard_admin.kubeconfig文件访问：

提示：

更多dashboard访问方式及认证可参考《附004.Kubernetes Dashboard简介及使用》。

dashboard登录整个流程可参考：https://www.cnadn.net/post/2613.htm

本试验基于apiserver访问方式+Kubeconfig身份验证进行登录。

通过apiserver形式访问：https://172.24.8.254:16443/api/v1/namespaces/kubernetes-dashboard/services/https:kubernetes-dashboard:/proxy/

附001：导出当前Kubernetes证书

[root@master ~]# grep 'client-certificate-data' ~/.kube/config | head -n 1 | awk '{print $2}' | base64 -d >> kubecfg.crt

[root@master ~]# grep 'client-key-data' ~/.kube/config | head -n 1 | awk '{print $2}' | base64 -d >> kubecfg.key

[root@master ~]# openssl pkcs12 -export -clcerts -inkey kubecfg.key -in kubecfg.crt -out k8s.crt -name "kubernetes-client"

Enter Export Password:[x120952576]

Verifying - Enter Export Password:[x120952576]

使用相应的密码，将k8s.crt导入IE浏览器，导入操作略。

四 Metrics部署

4.1 Metrics

Kubernetes的早期版本依靠Heapster来实现完整的性能数据采集和监控功能，Kubernetes从1.8版本开始，性能数据开始以Metrics API的方式提供标准化接口，并且从1.10版本开始将Heapster替换为Metrics Server。在Kubernetes新的监控体系中，Metrics Server用于提供核心指标（Core Metrics），包括Node、Pod的CPU和内存使用指标。

对其他自定义指标（Custom Metrics）的监控则由Prometheus等组件来完成。

4.2 开启聚合层

有关聚合层知识参考：https://blog.csdn.net/liukuan73/article/details/81352637

kubeadm方式部署默认已开启。

4.3 获取部署文件

[root@master01 ~]# git clone https://github.com/kubernetes-incubator/metrics-server.git

[root@master01 ~]# cd metrics-server/deploy/kubernetes/

[root@master01 kubernetes]# vi metrics-server-deployment.yaml

……
    spec:
      hostNetwork: true
……
      containers:
      - name: metrics-server
        image: gcr.azk8s.cn/google_containers/metrics-server-amd64:v0.3.6	#修改为国内源
        imagePullPolicy: IfNotPresent
        args:
          - --cert-dir=/tmp
          - --secure-port=4443
          - --kubelet-insecure-tls
          - --kubelet-preferred-address-types=InternalIP,Hostname,InternalDNS,ExternalDNS,ExternalIP		#添加如上command
……

4.4 正式部署

[root@master01 kubernetes]# kubectl apply -f .

[root@master01 kubernetes]# kubectl -n kube-system get pods -l k8s-app=metrics-server

NAME READY STATUS RESTARTS AGE

metrics-server-7f74dc667d-hcttx 1/1 Running 0 2m52s

[root@master01 kubernetes]# kubectl -n kube-system logs -l k8s-app=metrics-server -f #查看日志

4.5 查看资源监控

[root@k8smaster01 ~]# kubectl top nodes

[root@k8smaster01 ~]# kubectl top pods --all-namespaces

提示：Metrics Server提供的数据也可以供HPA控制器使用，以实现基于CPU使用率或内存使用值的Pod自动扩缩容功能。

部署参考：https://linux48.com/container/2019-11-13-metrics-server.html

有关metrics更多部署参考：

https://kubernetes.io/docs/tasks/debug-application-cluster/resource-metrics-pipeline/

开启开启API Aggregation参考：

https://kubernetes.io/docs/concepts/extend-kubernetes/api-extension/apiserver-aggregation/

API Aggregation介绍参考：

https://kubernetes.io/docs/tasks/access-kubernetes-api/configure-aggregation-layer/

五 Prometheus+Grafana

5.1 Prometheus+Grafana监控方案

参考《050.集群管理-Prometheus+Grafana监控方案》