master:kubectl操作api-server 增删改查，scheduler调度 ，controller manager控制应用副本，etcd存储应用状态 node：pod，kube-proxy Master：集群控制节点，负责整个集群的管理和控制。 API Server： 提供接口，资源增删改查入口。 Controller Manager: 所有资源对象的自动化控制中心。 Scheduler： 负责资源调度。 Etcd：master的持续状态都存在etcd。 Node：工作节点，听从master的工作分配。 Kubelet： Pod容器创建、启停，集群管理等任务。 kube-proxy： 实现service 的通信与负载均衡组件。 Docker: Docker引擎，负责本机容器创建和管理工作。 Pod: 是在K8s集群中运行部署应用或服务的最小单元，它是可以支持多容器的。Pod的设计理念是支持多个容器在一个Pod中共享网络地址和文件系统，可以通过进程间通信和文件共享这种简单高效的方式组合完成服务。 RC: replication controller是K8s集群中最早的保证Pod高可用的API对象。通过监控运行中的Pod来保证集群中运行指定数目的Pod副本。指定的数目可以是多个也可以是1个；少于指定数目，RC就会启动运行新的Pod副本；多于指定数目，RC就会杀死多余的Pod副本。即使在指定数目为1的情况下，通过RC运行Pod也比直接运行Pod更明智，因为RC也可以发挥它高可用的能力，保证永远有1个Pod在运行。 service: 一个Pod只是一个运行服务的实例，随时可能在一个节点上停止，在另一个节点以一个新的IP启动一个新的Pod，因此不能以确定的IP和端口号提供服务。要稳定地提供服务需要服务发现和负载均衡能力。 在K8s集群中，客户端需要访问的服务就是Service对象。每个Service会对应一个集群内部有效的虚拟IP，集群内部通过虚拟IP访问一个服务。 deployment: 部署表示用户对K8s集群的一次更新操作。可以是创建一个新的服务，更新一个新的服务，也可以是滚动升级一个服务。滚动升级一个服务，实际是创建一个新的RS，然后逐渐将新RS中副本数增加到理想状态，将旧RS中的副本数减小到0的复合操作；这样一个复合操作用一个RS是不太好描述的，所以用一个更通用的Deployment来描述。以K8s的发展方向，未来对所有长期伺服型的的业务的管理，都会通过Deployment来管理。 replica set: RS是新一代RC，提供同样的高可用能力，区别主要在于RS后来居上，能支持更多种类的匹配模式。副本集对象一般不单独使用，而是作为Deployment的理想状态参数使用。 daemon set: 长期伺服型和批处理型服务的核心在业务应用，可能有些节点运行多个同类业务的Pod，有些节点上又没有这类Pod运行；而后台支撑型服务的核心关注点在K8s集群中的节点（物理机或虚拟机），要保证每个节点上都有一个此类Pod运行。节点可能是所有集群节点也可能是通过nodeSelector选定的一些特定节点。典型的后台支撑型服务包括，存储，日志和监控等在每个节点上支持K8s集群运行的服务。 job: Job是K8s用来控制批处理型任务的API对象。批处理业务与长期伺服业务的主要区别是批处理业务的运行有头有尾，而长期伺服业务在用户不停止的情况下永远运行。Job管理的Pod根据用户的设置把任务成功完成就自动退出了。成功完成的标志根据不同的spec.completions策略而不同：单Pod型任务有一个Pod成功就标志完成；定数成功型任务保证有N个任务全部成功；工作队列型任务根据应用确认的全局成功而标志成功。 软件环境： master node1 node2 ubuntu 1904添加网卡： ip link 查看网卡 vim /etc/netplan/50-cloud-init.daml 写入网卡 root@master:~# cat /etc/netplan/50-cloud-init.yaml # This file is generated from information provided by # the datasource. Changes to it will not persist across an instance. # To disable cloud-init's network configuration capabilities, write a file # /etc/cloud/cloud.cfg.d/99-disable-network-config.cfg with the following: # network: {config: disabled} network: ethernets: ens33: dhcp4: true ens38: #dhcp4: true addresses: [192.168.134.130/24] nameservers: addresses: [114.114.114.114]
gateway4: 192.168.134.2 version: 2 netplan apply 重启网络 -------------------centos环境安装 #停止firewalld服务 systemctl stop firewalld && systemctl disable firewalld #关闭selinux sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config && setenforce 0 #关闭swap设置 swapoff -a yes | cp /etc/fstab /etc/fstab_bak cat /etc/fstab_bak |grep -v swap > /etc/fstab #解决流量路由不正确问题 cat <<EOF > /etc/sysctl.d/k8s.conf vm.swappiness = 0 net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 EOF # 使配置生效 modprobe br_netfilter sysctl -p /etc/sysctl.d/k8s.conf #更改hosts文件 cat >> /etc/hosts << EOF 192.168.0.20 master.example.com 192.168.0.49 node1.example.com 192.168.0.50 node2.example.com EOF #安装docker yum -y install docker systemctl enable docker && systemctl start docker #配置阿里k8s源 cat >> /etc/yum.repos.d/k8s.repo << EOF [kubernetes] name=kuberbetes repo baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ gpgcheck=0 EOF #安装kubelet/kubeadm/kubectl yum -y install kubelet kubeadm kubectl systemctl enable kubelet && systemctl start kubelet -------------------centos环境安装结束 ----------------ubuntu环境安装 swapoff -a yes | cp /etc/fstab /etc/fstab_bak cat /etc/fstab_bak |grep -v swap > /etc/fstab #解决流量路由不正确问题 cat <<EOF > /etc/sysctl.d/k8s.conf vm.swappiness = 0 net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 EOF # 使配置生效 modprobe br_netfilter sysctl -p /etc/sysctl.d/k8s.conf #更改hosts文件 cat >> /etc/hosts << EOF 192.168.2.150 master.example.com 192.168.2.151 node1.example.com 192.168.2.152 node2.example.com EOF apt-get -y install docker.io systemctl enable docker && systemctl start docker apt-get update && apt-get install -y apt-transport-https curl cat <<EOF >/etc/apt/sources.list.d/kubernetes.list deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main EOF curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - apt-get update apt-get -y install kubelet=1.13.1-00 kubeadm=1.13.1-00 kubectl=1.13.1-00 kubernetes-cni=0.6.0-00 systemctl enable kubelet && systemctl start kubelet ubuntu列举软件版本： apt-cache madison kubelet ----------------ubuntu环境安装结束 -------------------------------python3 自动拉取image的脚本： import os S_registry = 'registry.cn-beijing.aliyuncs.com/kubernetesdevops/' D_registry = 'k8s.gcr.io/' master_image = ['kube-apiserver:v1.13.1','kube-controller-manager:v1.13.1', 'kube-scheduler:v1.13.1','kube-proxy:v1.13.1','pause:3.1', 'etcd:3.2.24','coredns:1.2.6','flannel:v0.10.0-amd64','kubernetes-dashboard-amd64:v1.10.0'] def PullImage(registry,images): index = 1 for image in images: cmd = "docker pull " + registry + image os.system(cmd) print("done!") index +=1 def TagImage(sregistry,dregistry,images): index = 1 for image in images: cmd = "docker tag " + sregistry+image + " " + dregistry + image os.system(cmd) print("done!") index +=1 if __name__ == '__main__': PullImage(S_registry,master_image) #TagImage(S_registry,D_registry,master_image) -----------------------------python3 自动拉取images脚本结束 删除重复的tag： for i in `docker images |grep beijing|awk '{print $1":"$2}'`;do docker rmi $i;done 拉取上面8个镜像，node1，2也都需要 -------------master初始化 kubeadm init --kubernetes-version=v1.13.1 --apiserver-advertise-address 192.168.134.130 --pod-network-cidr=10.244.0.0/16 kubeadm init --kubernetes-version=v1.13.1 --apiserver-advertise-address 192.168.134.130 --pod-network-cidr=10.244.0.0/16 --ignore-preflight-errors=SystemVerification 输出： Your Kubernetes master has initialized successfully! To start using your cluster, you need to run the following as a regular user: mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config You should now deploy a pod network to the cluster. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: https://kubernetes.io/docs/concepts/cluster-administration/addons/ You can now join any number of machines by running the following on each node as root: kubeadm join 192.168.134.130:6443 --token dyfl39.tsd8zqpfaehj8l9b --discovery-token-ca-cert-hash sha256:7e1358ca2c2c2edce1e548e0690ed1327fb41eb8150bb543794e8b7f48c654cd -----输出结束 -----声明一下kubeconfig echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> /etc/profile source /etc/profile kubectl get nodes 发现notReady 安装flannel curl https://raw.githubusercontent.com/coreos/flannel/62e44c867a2846fefb68bd5f178daf4da3095ccb/Documentation/kube-flannel.yml -O 一定要改镜像！打tag docker tag k8s.gcr.io/flannel:v0.10.0-amd64 quay.io/coreos/flannel:v0.10.0-amd64 kubectl apply -f kube-flannel.yml 查看pods是否在运行 root@master:~# kubectl get pods --all-namespaces NAMESPACE NAME READY STATUS RESTARTS AGE kube-system coredns-86c58d9df4-9h9sw 1/1 Running 0 50m kube-system coredns-86c58d9df4-t9s9d 1/1 Running 0 50m kube-system etcd-master 1/1 Running 0 49m kube-system kube-apiserver-master 1/1 Running 0 49m kube-system kube-controller-manager-master 1/1 Running 0 49m kube-system kube-flannel-ds-amd64-m89kt 1/1 Running 0 2m24s kube-system kube-proxy-ln4qs 1/1 Running 0 50m kube-system kube-scheduler-master 1/1 Running 0 49m root@master:~# kubectl get nodes NAME STATUS ROLES AGE VERSION master Ready master 52m v1.13.1 --------------master初始化结束 用kubeadm部署node1 注意node也要打flannel的tag ----------------------kubeadm安装dashboard 在master安装dashboard 先拉取镜像 docker pull registry.cn-beijing.aliyuncs.com/kubernetesdevops/kubernetes-dashboard-amd64:v1.10.0 或者用这个： docker pull registry.cn-shanghai.aliyuncs.com/coolyeah/kubernetes-dashboard-amd64:v1.10.1 再tag一下 docker tag registry.cn-beijing.aliyuncs.com/kubernetesdevops/kubernetes-dashboard-amd64:v1.10.0 k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.0 去github找yaml文件： https://github.com/kubernetes/dashboard/tree/v1.10.0 把yaml下载下来 curl -O https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.0/src/deploy/recommended/kubernetes-dashboard.yaml apply一下 kubectl apply -f kubernetes-dashboard.yaml 查看一下： kubectl get pods --all-namespaces 发现起不来，再看一下详细情况： kubectl describe pods kubernetes-dashboard-79ff88449c-w55xl -n kube-system 发现Error:ErrImagePull Failed to pull image "k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.0": rpc error: code = Unknown desc = Error response from daemon: Get https://k8s.gcr.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers) 原来这个在node1上，所以node1，也要这个dashboard的image 可以delete掉： kubectl delete -f kubernetes-dashboard.yaml 重新apply： kubectl apply -f kubernetes-dashboard.yaml 查看一下： kubectl get pods --all-namespaces kubectl describe pods kubernetes-dashboard-79ff88449c-554h9 -n kube-system 查看一下dashboard暴露的端口： kubectl get service --namespace=kube-system 准备访问master的443端口： http://192.168.134.130:443 发现访问不了 可以在161行新增nodePort:31234 164行新增type: NodePort ,用nodePort方式启动 -------比如： kind: Service apiVersion: v1 metadata: labels: k8s-app: kubernetes-dashboard name: kubernetes-dashboard namespace: kube-system spec: ports: - port: 443 targetPort: 8443 nodePort:31234 selector: k8s-app: kubernetes-dashboard type: NodePort -----比如结束 删除dashboard： kubectl delete -f kubernetes-dashboard.yaml 重建: kubectl apply -f kubernetes-dashboard.yaml 查看svc： root@master:~# kubectl get svc --namespace=kube-system NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kube-dns ClusterIP 10.96.0.10 <none> 53/UDP,53/TCP 26h kubernetes-dashboard NodePort 10.109.246.38 <none> 443:31234/TCP 3s 访问master机器的31234端口： https://192.168.2.150:31234 令牌,先要获取令牌： kubectl get secret -n kube-system 发现kubernetes-dashboard-token-p9kvp kubectl describe secret kubernetes-dashboard-token-p9kvp -n kube-system 把很长的token输入到web界面里 登陆进去发现有黄色告警信息 vim kube-user.yml apiVersion: v1 kind: ServiceAccount metadata: name: admin namespace: kube-system labels: kubernetes.io/cluster-service: "true" addonmanager.kubernetes.io/mode: Reconcile --- kind: ClusterRoleBinding apiVersion: rbac.authorization.k8s.io/v1beta1 metadata: name: admin annotations: rbac.authorization.kubernetes.io/autoupdate: "true" subjects: - kind: ServiceAccount name: admin namespace: kube-system roleRef: kind: ClusterRole name: cluster-admin apiGroup: rbac.authorization.k8s.io kubectl apply -f kube-user.yml 这次grep admin: kubectl get secret -n kube-system | grep admin 最后获取令牌： kubectl describe secret admin-token-q42p6 -n kube-system 登出web，重新用令牌登陆 小技巧： 拉取别人的镜像，放到自己的来云上面。 先pull 如： docker pull registry.cn-beijing.aliyuncs.com/kubernetesdevops/kubernetes-dashboard-amd64:v1.10.0 再tag: docker tag registry.cn-beijing.aliyuncs.com/kubernetes-alex/kubernetes-dashboard-amd64:v1.10.0 登陆仓库： docker login registry.cn-beijing.aliyuncs.com 最后push上去 docker push registry.cn-beijing.aliyuncs.com/kubernetes-alex/kubernetes-dashboard-amd64:v1.10.0 ============================= kubectl命令行工具常用命令运营 # kubectl命令 ## 命令行语法 kubectl [command ] [TYPE] [NAME] [flags] command: create/delete/get/describe/apply type: 资源对象类型,严格区分大小写。 name: 资源对象的名称，严格区分大小写。 flags: 可选参数 -n 指定namespaces ## 资源对象类型 daemonsets ds deployments events ev 事件 endpoints ep horizontalpodautoscalers hpa 水平扩展 ingresses ing jobs nodes no namespaces ns pods po persistentvolumes pv 物理卷 persistentvolumesclaims pvc 物理卷组 resourcequotas quota replicationcontrollers rc secerts service svc serviceaccounts sa ## 练习 同时查看多种资源对象 ``` kubectl get pod/etcd-master.example.com svc/kubernetes-dashboard -n kube-system ``` ## kubectl 子命令 annotate 添加或者更新资源对象的信息 apply kubectl apply -f filename 从配置文件更新资源对象 attach kubectl attach pod -c container 链接正在运行的pod cluster-info kubectl cluster-info 显示集群信息 completion kubectl completion bash 输出shell命令执行后的返回码 config kubectl config get-clusters 修改kubeconfig配置文件 create kubectl create -f kube-user.yml 从配置文件创建资源对象 delete kubectl delete -f kube-user.yml 从配置文件删除资源对象 describe kubectl describe sa 查看资源对象的详细信息 edit kubectl edit sa 编辑资源对象的属性 exec kubectl exec coredns-86c58d9df4-d8x49 ls -n kube-system 执行一个容器中的命令 label kubectl label node node1.example.com a=b 为资源对象创建label标记 ------------------------------------------ 通过yaml创建pod对象 小技巧： 查看其他pod的情况并用yaml方式显示出来 kubectl edit pod coredns-86c58d9df4-9h9sw -n kube-system 学习怎么写yaml可以查看github kubernetes的handbook https://github.com/feiskyer/kubernetes-handbook https://github.com/kubernetes/examples https://github.com/kubernetes/examples/tree/master/guestbook 小技巧： 改名所有下下来的tag： for i in `docker images|grep gcr|awk '{print $1":"$2}'|cut -d"/" -f2`;do docker tag k8s.gcr.io/$i registry.cn-shanghai.aliyuncs.com/alexhjl/$i;done 上传到阿里云的镜像仓库： for i in `docker images |grep shanghai`;do docker push $i;done 创建一个nginx.yaml apiVersion: v1 kind: Pod metadata: name: nginx labels: app: nginx spec: containers: - name: nginx image: registry.xxx.com/nginx:latest imagePullPolicy: IfNotPresent ports: - containerPort: 80 IfNotPresent，当本地镜像不存在时会pull kubectl create -f nginx.yaml 如果不指定namespace 会在当前的namespace中创建pod kubectl get pod 查看pod在哪个node运行： kubectl describe pod nginx 删除pod： kubectl delete pod nginx 或者 kubectl delete -f nginx.yaml master节点为什么不运行pod？ 因为master节点有个标记，kubectl get node --show-labels 可以显示所有标记 pod的生命周期： Pending： 记录状态 下载镜像 Running：调度完成 Successed: 程序终止 Failed: 有未终止容器 Unknown: kubectl先根据yaml定义来创建pod，pod的相关信息存入到etcd上。apiserver返回确认的信息给客户端。apiserver开始查询etcd中的状态变化，调度器就会查看资源对象是否绑定到哪个节点，没有绑定节点就会为pod挑选一个节点，调度到这个节点上来。如果已经定义了绑定到存在的节点中，则调度器调度到节点中，调度成功后把状态结果反馈到etcd。 kubernetes设计理念 pdf 第49页 kubernetes核心技术概念和api对象 pdf第51页 k8s核心组件与通信端口 pdf58页 kube-apiserver原理分析： kubectl api-versions //查询api支持的版本 root@master:~# kubectl api-versions admissionregistration.k8s.io/v1beta1 apiextensions.k8s.io/v1beta1 apiregistration.k8s.io/v1 apiregistration.k8s.io/v1beta1 apps/v1 apps/v1beta1 apps/v1beta2 authentication.k8s.io/v1 authentication.k8s.io/v1beta1 authorization.k8s.io/v1 authorization.k8s.io/v1beta1 autoscaling/v1 autoscaling/v2beta1 autoscaling/v2beta2 batch/v1 batch/v1beta1 certificates.k8s.io/v1beta1 coordination.k8s.io/v1beta1 events.k8s.io/v1beta1 extensions/v1beta1 networking.k8s.io/v1 policy/v1beta1 rbac.authorization.k8s.io/v1 rbac.authorization.k8s.io/v1beta1 scheduling.k8s.io/v1beta1 storage.k8s.io/v1 storage.k8s.io/v1beta1 v1 kubectl api-resources --api-group=apps/v1 //查询资源对象 kubectl get --raw /api/v1/namespaces kubectl proxy --port=8080 & //开启本地代理网关，也可以不加--port=8080 ---------------------------- kubernetes scheduler 负责pod的生命周期中的后半部分。 通过apiserver查询未分配node的pod，根据调度策略调度pod。 通常通过RC/Deployment/Daemonset/Job完成pod的调度。 scheduler工作原理： 1.API创建新的pod 2.Controller Manager 补充pod的副本 3.Scheduler 按照特定的调度算法绑定到集群中匹配的node上 4.绑定成功，将绑定信息写入etcd scheduler节点调度： nodeSelector（定向调度）： 调度到label匹配的node节点中 nodeAffinity（亲和性调度）： 调度到label匹配的node节点中（可以设置优选，匹配更丰富） requiredDuringSchedulingRequiredDuringExecution（类似于selector） requiredDuringSchedulingIgnoredDuringExecution (满足条件) preferredDuringSchedulingIgnoredDuringExecution（优选条件） podAffinity： 调度到匹配的pod运行的node节点中。 nodeAffinity requiredDuringSchedulingRequiredDuringExecution： 当pod不满足条件时，系统将从该node上移除之前调度的pod。 requiredDuringSchedulingIgnoredDuringExecution：与上面类似，区别： 当node条件不满足时，系统不一定要从该node上移除之前调度的pod。 preferredDuringSchedulingIgnoredDuringExecution： 指定在满足调度条件的node中，那些node应该更优先的进行调度。 同时当node不满足条件时，系统不一定从移除之前调度的pod。 给node节点创建label标记 kubectl label nodes node01.example.com cpucounts=four 查看node的标记 kubectl get nodes --show-labels 在资源对象中添加调度设置 spec: nodeSelector: cpucounts: four 实验步骤： 1.创建一个pod，添加调度信息。 2.查看pod的运行状态 3.给node节点创建匹配的label 4.验证pod运行正常 如果没有匹配的node，Pod状态将会一直处于pending状态。 cat nodeselector_nginx.yaml 上面给node01带了个标签cpucounts=four,这里就会匹配到 apiVersion: v1 kind: Pod metadata: name: nginx labels: app: nginx spec: nodeSelector: cpucounts: four containers: - name: nginx image: docker.io/library/nginx imagePullPolicy: IfNotPresent ports: - containerPort: 80 kubectl apply -f nodeselector_nginx.yaml 如果不启动，describe一下看详细情况 kubectl describe pod nginx cat nodeAffinity-R.yaml 当前pod调度到拥有标签area=test1/test2的节点上 apiVersion: v1 kind: Pod metadata: name: testschduler spec: affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: area operator: In values: - test1 - test2 containers: - name: myapp image: nginx requiredDuringSchedulingIgnoredDuringExecution： 1.值为一个对象列表，由一个到多个nodeSelectorTerm定义的对象组成。 2.多个nodeSelectorTerm之间只要满足其中一个即可。 nodeSelectorTerm： 1.用于定义节点选择器条目，由一个或多个matchExpressions对象定义的匹配规则组成。 2.规则之间 逻辑与关系，必须满足一个nodeSelectorTerm下的所有matchExpressions。 matchExpressions： 由一个或多个标签选择器组成 operator: 标签选择器表达式中的操作符 常用： In NotIn Exists DoesNotExist Lt Gt cat nodeAffinity-P.yaml apiVersion: v1 kind: Pod metadata: name: testschduler spec: affinity: nodeAffinity: preferredDuringSchedulingIgnoredDuringExecution: - wight: 90 preference: matchExpressions: - key: area operator: In values: - test1 - test2 - wight: 80 preference: matchWxpressions: - key: vm operator: Exists values: [] containers: - name: myapp image: nginx 当前pod调度到拥有标签 area=test1/test2 或者存在vm标签的节点上。 wight=170 area=test1 vm=true wight=90 area=test1 wight=80 vm=true cat podAffinity-R.yaml apiVersion: v1 kind: Pod metadata: name: testschduler spec: affinity: podAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: area operator: In values: - test1 - test2 topologyKey: kubernetes.io/hostname 通过labelSelector选择pod，根据pod对象所在 -------------------------------------------- Controller manager 由kube-controller-manager 和cloud-controller-manager组成。 controller manager是 kubernetes的大脑。 通过apiserver监控整个集群的状态，确保符合预期状态。 Metrics 度量： （性能参数） controller manager metrics 提供了控制器内部逻辑的性能度量。 默认监听 10252端口（prometheus） Go语言运行时度量 etcd请求延时 云服务提供商API请求延时 访问： http://localhost:10252/metrics ------------------------------------------------ kubelet 每个节点都运行一个kubelet进程，默认端口10250。 接受并执行master发来的指令，管理pod和其中的容器。 每个kubelet都会向apiserver注册自身信息。 定期向master节点汇报当前节点的情况。 通过cAdvisor监控节点和容器的资源。 kubelet监听10250端口 容器健康检查： LivenessProbe探针 用于判断容器是否健康。如果探测不健康则通过kubelet删除该容器。 如果一个容器不包含探针kubelet会认为值为success。 ReadinessProbe 用于判断容器是否启动完成且准备接收请求。如果探测到失败，则pod的状态被修改。 来诊断容器的健康状态。kubelet定期调用容器中的livenessprobe探针 实现方式 ExecAction: 在容器内部执行一条命令，如果退出状态码为0，则表明容器健康。 TCPSocketAction: 通过容器的IP地址和端口号执行TCP检查，如果端口能够被访问则表明容器健康。 HTTPGetAction: 通过容器的IP地址和端口及路径调用HTTP GET方法，如果状态码大于等于200且小于400，则认为容器健康。 cAdvisor资源监控： 一个开源的分析容器资源使用率和性能特性的代理工具。 自动查找所有在其所在的节点上的容器，自动采集CPU、内存、文件系统和网络使用的统计信息。 cAdvisor通过其所在的节点机的4194端口暴露一个UI。 cr容器运行时：container runtime 容器运行时是Kubernetes最重要的组件之一。 负责真正管理镜像和容器的生命周期。 kubelet通过CRI与容器运行时交互，以管理镜像和容器。 获取node的性能指标 看看各node上面有没有10255端口，如果没启动的话。 可以修改 vim /var/lib/kubelet/kubeadm-flags.env 加入 --read-only-port=10255 完整行： KUBELET_KUBEADM_ARGS=--read-only-port=10255 --cgroup-driver=cgroupfs --network-plugin=cni --pod-infra-container-image=k8s.gcr.io/pause:3.1 --resolv-conf=/run/systemd/resolve/resolv.conf systemctl restart kubelet 或者： vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf 添加一行 Environment="KUBELET_API=--read-only-port=10255" 修改一行 ExecStart=/usr/bin/kubelet $KUBELET_API $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS 完整文件：-------------完整文件开始 # Note: This dropin only works with kubeadm and kubelet v1.11+ [Service] Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf" Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml" # This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env Environment="KUBELET_API=--read-only-port=10255" # This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use # the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file. EnvironmentFile=-/etc/default/kubelet ExecStart= ExecStart=/usr/bin/kubelet $KUBELET_API $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS ------------------------完整文件结束 systemctl daemon-reload systemctl restart kubelet 最后就能通过链接获取该主机的所有状态性能 curl 192.168.2.151:10255/stats/summary -------------------------------------------------------------------------------- docker视频教程 ------------------------------- Prometheus视频 https://github.com/aaron111com/Jenkinsdocs/blob/master/chapter/Prometheus%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2+%E7%9B%91%E6%8E%A7+%E7%BB%98%E5%9B%BE+%E5%91%8A%E8%AD%A6.md 1.安装node_export在/usr/local tar zxvf node_exporter-0.18.1.linux-amd64.tar.gz -C /usr/local/ vim /etc/systemd/system/node_exporter.service [Unit] Description=node_exporter After=network.target [Service] Restart=on-failure ExecStart=/usr/local/node_exporter-0.18.1.linux-amd64/node_exporter [Install] WantedBy=multi-user.target systemctl start node_export systemctl status node_exporter systemctl enable node_exporter netstat -ntulp| grep 9100 #node_exporter 监听9100端口 浏览器可以访问http://192.168.2.150:9100/metrics 2.安装prometheus tar zxvf prometheus-2.12.0.linux-amd64.tar.gz -C /usr/local/ vim /etc/systemd/system/prometheus.service [Unit] Description=Prometheus Server Documentation=https://prometheus.io/docs/introduction/overview/ After=network-online.target [Service] Restart=on-failure ExecStart=/usr/local/prometheus-2.12.0.linux-amd64/prometheus --config.file=/usr/local/prometheus-2.12.0.linux-amd64/prometheus.yml --storage.tsdb.path=/var/lib/prometheus --web.external-url=http://0.0.0.0:9090 [Install] WantedBy=multi-user.target systemctl start prometheus netstat -ntulp| grep 9090 systemctl enable prometheus 静态配置添加一台主机： vim /usr/local/prometheus-2.12.0.linux-amd64/prometheus.yml # my global config global: scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute. evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute. # scrape_timeout is set to the global default (10s). # Alertmanager configuration alerting: alertmanagers: - static_configs: - targets: # - alertmanager:9093 # Load rules once and periodically evaluate them according to the global 'evaluation_interval'. rule_files: # - "first_rules.yml" # - "second_rules.yml" # A scrape configuration containing exactly one endpoint to scrape: # Here it's Prometheus itself. scrape_configs: # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config. - job_name: 'prometheus' # metrics_path defaults to '/metrics' # scheme defaults to 'http'. static_configs: - targets: ['localhost:9090'] # add custom monitor job,monitor node_exporter 通过静态方式添加一台主机，监控node_expoter - job_name: "my target" static_configs: - targets: ['localhost:9100'] 添加完，重启prometheus systemctl restart prometheus 打开浏览器页面 http://192.168.2.150:9090 访问status->targets 服务发现： 动态发现，事业云环境，动态伸缩，迅速配置。 kubernetes为例： 需要配置api的地址和认证凭据。 prometheus一直监听集群的变化 获取新增/删除集群中机器的信息，并更新采集对象列表。 prometheus数据存储： 本地存储：通过自带的时序数据库将数据保存到本地的磁盘。 远端存储：适用于存储大量的监控数据，支持opentsdb，influxdb，elasticsearch等后端存储。通过适配器实现存储的远程读写接口，便可以监控。 安装grafana https://mirrors.tuna.tsinghua.edu.cn/help/grafana/ Debian / Ubuntu 用户 首先信任 https://packages.grafana.com/ 的 GPG 公钥: curl https://packages.grafana.com/gpg.key | sudo apt-key add - 确保你的 apt 支持 HTTPS: sudo apt-get install -y apt-transport-https 选择你希望安装的 Grafana 版本（与你的 Debian/Ubuntu 系统版本无关），文本框中内容写进 /etc/apt/sources.list.d/grafana.list 你的 Grafana 版本: deb https://mirrors.tuna.tsinghua.edu.cn/grafana/apt/ stable main 安装 Grafana sudo apt-get update sudo apt-get install grafana 启动： systemctl start grafana-server 访问3000端口 192.168.2.150:3000 添加数据源 Prometheus，黏贴地址，dashboard里导入3个 访问这个装主机监控插件，监控cpu，内存，磁盘，网络 https://grafana.com/dashboards/9276 导入grafana： 选择dashboard import，然后导入json。 数据告警： alertmanager tar zxvf alertmanager-0.19.0.linux-amd64.tar.gz -C /usr/local/ cat /etc/systemd/system/alertmanager.service [Unit] Description=Alertmanager After=network-online.target [Service] Restart=on-failure ExecStart=/usr/local/alertmanager-0.19.0.linux-amd64/alertmanager --config.file=/usr/local/alertmanager-0.19.0.linux-amd64/alertmanager.yml [Install] WantedBy=multi-user.target systemctl start alertmanager systemctl enable alertmanager netstat -ntulp| grep 9093 浏览器访问http://192.168.2.150:9093 修改Prometheus的配置文件： root@master:/usr/local/prometheus-2.12.0.linux-amd64# cat prometheus.yml # my global config global: scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute. evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute. # scrape_timeout is set to the global default (10s). # Alertmanager configuration alerting: alertmanagers: - static_configs: - targets: - localhost:9093 #修改成alertmanager的地址 # Load rules once and periodically evaluate them according to the global 'evaluation_interval'. rule_files: - "rules/host_rules.yml" #新建文件夹rules和下面yml # - "first_rules.yml" # - "second_rules.yml" # A scrape configuration containing exactly one endpoint to scrape: # Here it's Prometheus itself. scrape_configs: # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config. - job_name: 'prometheus' # metrics_path defaults to '/metrics' # scheme defaults to 'http'. static_configs: - targets: ['localhost:9090'] # add custom monitor job,monitor node_exporter - job_name: "my target" static_configs: - targets: ['localhost:9100'] mkdir rules vim rules/host_rules.yml groups: - name: 'Linux Instances' rules: - alert: InstanceDown expr: up == 0 for: 5s labels: severity: page # Prometheus templates apply here in the annotation and label fields of the alert. annotations: description: 'has been down for more than 5 s.' 重启Prometheus systemctl restart prometheus 这时候把node_exporter关掉 systemctl stop node_exporter prometheus的界面就会报警 如果要配置邮件报警： alertmanager需要配置一下， global: resolve_timeout: 5m smtp_smarthost: 'smtp.qq.com:465' smtp_from: 'xxxxx@qq.com' smtp_auth_username: 'xxxx@qq.com' smtp_auth_password: 'xxxkbpfmygbecg' smtp_require_tls: false route: group_by: ['alertname'] group_wait: 10s group_interval: 10s repeat_interval: 1h receiver: 'toemail' receivers: - name: 'toemail' email_configs: - to: 'xxxxx@qq.com' send_resolved: true - name: 'web.hook' webhook_configs: - url: 'http://127.0.0.1:5001/' inhibit_rules: - source_match: severity: 'critical' target_match: severity: 'warning' equal: ['alertname', 'dev', 'instance'] systemctl restart alertmanager