搭建kubernete集群

kubernetes 部署过程：

1、基础环境准备 
2、部署 harbor 及 haproxy 高可用反向代理 
3、在所有 master 安装指定版本的 kubeadm 、kubelet、kubectl、docker 
4、在所有 node 节点安装指定版本的 kubeadm 、kubelet、docker，在 node 节点 kubectl 为 可选安装，看是否需要在 node 执行 kubectl 命令进行集群管理及 pod 管理等操作。 
5、master 节点运行 kubeadm init 初始化命令 
6、验证 master 节点状态 
7、在 node 节点使用 kubeadm 命令将自己加入 k8s master(需要使用 master 生成 token 认 证) 
8、验证 node 节点状态 
9、创建 pod 并测试网络通信 
10、部署 web 服务 Dashboard 
11、k8s 集群升级

一、基础环境准备 

1.1 各节点时间同步

ntpdate ntp1.aliyun.com

1.2 修改主机名

192.168.134.101 master
192.168.134.102 node01
192.168.134.91 harbo.linux.com

二、 部署 harbor 及 haproxy 高可用反向代理 

2.1 创建harbor仓库

使用软件：harbor-offline-installer-v1.7.6.tgz

apt install docker-compose -y
docker-install.sh 
tar xvf harbor-offline-installer-v1.7.6.tgz
vim harbor.cfg
hostname = harbo.linux.com
harbor_admin_password = 123456
 . install.sh
window上添加域名
192.168.134.91  harbo.linux.com

2.2 配置keepalived  

VIP：192.168.134.99

添加：net.ipv4.ip_forward=1
apt install keepalived
cp /usr/share/doc/keepalived/samples/keepalived.conf.vrrp /etc/keepalived/keepalived.conf
 virtual_ipaddress {
        192.168.134.99 dev eth0  label eth0:1
    }

2.3 配置haproxy

listen k8s-api-6443
  bind 192.168.134.99:6443
  mode tcp
  balance roundrobin
  server master1 192.168.134.101:6443 check inter 3s fall 3 rise 5
  server master2 192.168.134.102:6443 check inter 3s fall 3 rise 5

三、安装k8s各组件

3.1 安装docker19.03版

#!/bin/bash
# step 1: 安装必要的一些系统工具
sudo apt-get update
sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common
# step 2: 安装GPG证书
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# Step 3: 写入软件源信息
sudo add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# Step 4: 更新并安装Docker-CE
sudo apt-get -y update
sudo apt-get -y install docker-ce  docker-ce-cli

3.2 master节点安装镜像加速器

# sudo mkdir -p /etc/docker # sudo tee /etc/docker/daemon.json <<-'EOF' 
{   "registry-mirrors": ["xxx"] }  EOF 
# sudo systemctl daemon-reload && sudo systemctl restart docker 

3.3 所有节点安装 kubelet kubeadm kubectl

所有节点配置阿里云仓库地址并安装相关组件，node 节点可选安装 kubectl 

https://developer.aliyun.com/mirror/kubernetes

apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - 
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF  
apt-get update
apt-get install -y kubelet kubeadm kubectl
root@ubuntu:~# apt-cache madison kubeadm
kubeadm |  1.17.3-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
master节点
apt install  kubeadm=1.17.3-00 kubectl=1.17.3-00 kubelet=1.17.3-00
node节点
apt install kubeadm=1.17.2-00 kubelet=1.17.2-00 -y

3.4 master 节点运行 kubeadm init 初始化命令： 

https://k8smeetup.github.io/docs/reference/setup-tools/kubeadm/kubeadm-init/#init-workflow

在两台 master 中任意一台 master 进行集群初始化，而且集群初始化只需要初始化一次。 

3.4.1 kubeadm 命令使用

Available Commands:   
  alpha       #kubeadm 处于测试阶段的命令   
  completion  #bash 命令补全，需要安装 bash-completion  
    #mkdir  /data/scripts -p  
    #kubeadm completion bash > /data/scripts/kubeadm_completion.sh  
    #source /data/scripts/kubeadm_completion.sh  
    #vim /etc/profile   
        source /data/scripts/kubeadm_completion.sh      
config  #管理 kubeadm 集群的配置，该配置保留在集群的 ConfigMap 中   
        #kubeadm config print init-defaults       
help        Help about any command   
init        #启动一个 Kubernetes 主节点   
join        #将节点加入到已经存在的 k8s master   
reset       还原使用 kubeadm init 或者 kubeadm join 对系统产生的环境变化 

https://kubernetes.io/zh/docs/reference/setup-tools/kubeadm/kubeadm/

3.4.1.1：kubeadm init 命令简介

命令使用： https://kubernetes.io/zh/docs/reference/setup-tools/kubeadm/kubeadm/
集群初始化： https://kubernetes.io/zh/docs/reference/setup-tools/kubeadm/kubeadm-init/

--apiserver-advertise-address string  #K8S API Server 将要监听的监听的本机 IP
--apiserver-bind-port int32    #API Server 绑定的端口,默认为 6443 
--control-plane-endpoint string #为控制平台指定一个稳定的 IP 地址或 DNS 名称，即配置一个可以长期使用切是高可用的 VIP 或者域名，k8s多master高可用基于此参数实现
--ignore-preflight-errors strings #可以忽略检查过程 中出现的错误信息，比如忽略 swap，如 果为 all 就忽略所有 
--image-repository string #设置一个镜像仓库，默认为 k8s.gcr.io 
--kubernetes-version string  #指定安装 k8s 版本，默认为 stable-1 
--pod-network-cidr #设置 pod ip 地址范围 
-service-cidr #设置 service 网络地址范围 
--service-dns-domain string #设置 k8s 内部域名，默认为 cluster.local，会有相应的 DNS 服务 (kube-dns/coredns)解析生成的域名记录

3.4.1.2：验证当前 kubeadm 版本和查看安装指定版本 k8s 需要的镜像有哪些 

1、pause镜像：封装底层网络接口

3.4.1.3：master 节点镜像下载

提前在 master 节点下载镜像以减少安装等待时间，但是镜像默认使用 Google 的镜像仓 库，所以国内无法直接下载，但是可以通过阿里云的镜像仓库把镜像先提前下载下来，可以 避免后期因镜像下载异常而导致 k8s 部署异常。

阿里云下载：

docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.17.2
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.17.2
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.17.2
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.17.2
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.3-0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.6.5

上传至harbor

root@node01:~# docker login harbo.linux.com
Username: 
Password: 
错误：
Error response from daemon: Get https://harbo.linux.com/v2/: dial tcp 192.168.134.91:443: connect: connection refused
解决：
vim /lib/systemd/system/docker.service
最后添加：--insecure-registry  harbo.linux.com
ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --insecure-registry  harbo.linux.com
systemctl daemon-reload
systemctl restart docker.service
为要上传的镜像打标签：（举一例说明）
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.17.3 harbo.linux.com/kube-proxy/registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.17.3
上传镜像：
docker push harbo.linux.com/kube-proxy/registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.17.3

验证：

3.4.1.3: 基于命令初始化高可用 master 方式： 

kubeadm  init  --apiserver-advertise-address=192.168.134.101  --apiserver-bind-port=6443 --control-plane-endpoint=192.168.134.99 --kubernetes-version=v1.17.2  --pod-network-cidr=10.10.0.0/16 --service-cidr=192.168.1.0/24 --service-dns-domain=linux39.local --image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers --ignore-preflight-errors='swap'

可能会报错：

1、错误一：不要使用swap空间   解决：可以执行swapoff -a

Apr 03 15:40:36 ubuntu kubelet[3829]: F0403 15:40:36.071382 3829 server.go:273] failed to run Kubelet: running with swap on is not supported, please disable swap! or se
t --fail-swap-on flag to false. /proc/swaps contained: [Filename                                Type                Size        Used        Priority /swapfile     
                          file                969960        0        -2]2、错误二：k8s的cgroups要和docker的cgroups一致。
修改kubelet的Cgroup Driver
修改/etc/systemd/system/kubelet.service.d/10-kubeadm.conf文件，增加--cgroup-driver=cgroupfs

基于命令初始化高可用 master ： 

基于文件初始化高可用 master 方式

kubeadm init --config kubeadm-init.yaml  #基于文件执行 k8s master 初始化

kubeadm config print init-defaults > kubeadm-init.yaml #将默认配置输出至文件 
cat kubeadm-init.yaml #修改后的初始化文件内容
apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 48h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.134.102
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  name: node01
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controlPlaneEndpoint: 192.168.134.99:6443
controllerManager: {}
dns:
  type: CoreDNS
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers 
kind: ClusterConfiguration
kubernetesVersion: v1.17.3
networking:
  dnsDomain: linux39.local
  podSubnet: 10.10.0.0/16 
  serviceSubnet: 172.26.0.0/16
scheduler: {}

3.5：配置 kube-config 文件及网络组件： 

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
root@ubuntu:~# kubectl  get node 
NAME     STATUS     ROLES    AGE   VERSION
ubuntu   NotReady   master   53m   v1.17.2

3.6：当前 maste 生成证书用于添加新控制节点： 

root@ubuntu:~#  kubeadm  init phase upload-certs --upload-certs 
I0403 16:44:56.976407   21872 version.go:251] remote version is much newer: v1.18.0; falling back to: stable-1.17
W0403 16:44:58.386471   21872 validation.go:28] Cannot validate kube-proxy config - no validator is available
W0403 16:44:58.386489   21872 validation.go:28] Cannot validate kubelet config - no validator is available
[upload-certs] Storing the certificates in Secret "kubeadm-certs" in the "kube-system" Namespace
[upload-certs] Using certificate key:
74f9db7d8ffe40d3ebdbca56d273a87f67bbb7cefdc527c3c2d0ebfa11363de8

3.7：添加新 master 节点： 在另外一台已经安装了 docker、kubeadm 和 kubelet 的 master 节点上执行以下操作： 

kubeadm join 192.168.134.99:6443 --token 659w5i.7plbutnu2qy6gf5y 
    --discovery-token-ca-cert-hash sha256:ee06ed5b181b48959e92a1f9695aba069809f853811ae95f016f9c580a2f6362 
    --control-plane  --certificate-key 7eb5e12be5f40b126260437e768f09a6073e32ea5765b0d11ddeb97ceedf5362

 验证：

 状态：NotReady

3.8 ：配置 kube-config 文件及网络组件

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
vim kube-flannel.yml
net-conf.json: |
    {
      "Network": "10.10.0.0/16",  #pod网段,关系到容器是否可以对外访问
      "Backend": {
        "Type": "vxlan"
      }
kubectl apply -f kube-flannel.yml

验证

集群状态：

3.9：k8s 集群添加 node 节点

kubeadm join 192.168.134.99:6443 --token pafcb1.xa5o5fg2t1ibg916 
>     --discovery-token-ca-cert-hash sha256:19cfd26a5ef68eaa620c1da18793c88ec5ac49b9b899a25ad1363d622192dd87 

验证

节点服务类型：

master节点： coredns、etcd、kube-apiserver、kube-controller、kube-scheduler、kube-flannel、kube-proxy

node节点：kube-flannel、kube-proxy

查看service:

 3.10：k8s 创建容器并测试网络： 

分别在node02、ubuntu创建

验证网络：

如果出问题：可能是两处配置问题

1、检查宿主机路由转发功能

net.ipv4.ip_forward = 1

2、检查flannel.yml文件：网络组件flannel的配置文件中的  net-conf.json：Network值是否为pod的地址段

kubectl delete -f kube-flannel.yml
修改kube-flannel.yml之后：
kubectl apply -f kube-flannel.yml

pod解析问题：

查看:初始化文件中DNScore的配置问题。如果没问题，就删除coredns容器，它会重建。

kubectl delete pod coredns-7f9c544f75-6rs9s -n kube-system

验证：

3.11：部署 web 服务 dashboard

https://github.com/kubernetes/dashboard 

3.11.1：下载相关镜像和上传至harbor

docker pull kubernetesui/dashboard:v2.0.0-rc6  （id=cdc71b5a8a0e）
docker tag cdc71b5a8a0e harbo.linux.com/base-image/dashboard:v2.0.0-rc6
docker push harbo.linux.com/base-image/dashboard:v2.0.0-rc6
docker pull kubernetesui/metrics-scraper:v1.0.3
docker tag docker.io/kubernetesui/metrics-scraper:v1.0.3 harbo.linux.com/base-image/metrics-scraper:v1.0.3
docker push harbo.linux.com/base-image/metrics-scraper:v1.0.3

3.11.2：修改相关的配置文件

vim dashboard-2.0.0-rc6.yml
spec:
      containers:
        - name: kubernetes-dashboard
          image: harbo.linux.com/base-image/dashboard:v2.0.0-rc6  #harbor镜像地址
containers:
        - name: dashboard-metrics-scraper
          image: harbo.linux.com/base-image/metrics-scraper:v1.0.3 #harbor镜像地址
vim admin-user.yml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin-user
  namespace: kubernetes-dashboard

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: admin-user
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin-user
  namespace: kubernetes-dashboard

kubectl apply -f dashboard-2.0.0-rc6.yml
kubectl apply -f admin-user.yml

验证：

TYPE:NodePort的端口。每个node节点都监听

 

3.12：登陆方式

3.12.1：获取登录 token

3.12.1：kubeconfig方式

root@node01:~# cp /root/.kube/config /opt/kubeconfig
root@node01:~# vim /opt/kubeconfig

在/opt/kubeconfig中

- name: kubernetes-admin
  user:
..........................省略.......................


    token: 省略                              #添加token值

注意格式：

拷贝到桌面

登录：

验证：