kubernetes 部署

kubernetes 部署（Centos 7）

一个或者多个兼容 deb 或者 rpm 软件包的操作系统，比如 Ubuntu 或者 CentOS

每台机器 2 GB 以上的内存，内存不足时应用会受限制

主节点上 2 CPU 以上

集群里所有的机器有完全的网络连接，公有网络或者私有网络都可以

• 关闭防火墙

sudo systemctl stop firewalld.service       #停止firewall
sudo systemctl disable firewalld.service    #禁止firewall开机启动
sudo firewall-cmd --state                   #查看防火墙状态

• 开启数据包转发

vim /etc/sysctl.conf
net.ipv4.ip_forward = 1 

生效命令sysctl -p

• 配置iptables参数，使得流经网桥的流量也经过iptables/netfilter防火墙

cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

• swap关闭 

swapoff -a

修改 /etc/fstab 文件，注释掉 SWAP 的自动挂载，使用free -m确认swap已经关闭。 

• 主机名配置

修改主机名hostnamectl set-hostname <主机名> --static

每台主机/etc/hosts指明

1、docker ce安装

https://docs.docker.com/install/linux/docker-ce/centos/

https://kubernetes.io/docs/setup/cri/

# Install Docker CE
## Set up the repository
### Install required packages.
yum install yum-utils device-mapper-persistent-data lvm2

### Add Docker repository.
yum-config-manager 
  --add-repo 
  https://download.docker.com/linux/centos/docker-ce.repo

## Install Docker CE.
yum install -y --setopt=obsoletes=0 docker-ce-18.09.5-3.el7

## Create /etc/docker directory.
mkdir /etc/docker

# Setup daemon.
cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ]
}
EOF

systemctl enable docker
systemctl restart docker

查看可以安装包

yum list docker-ce --showduplicates

2、kubelet kubeadm kubectl安装（v1.14.1）

https://kubernetes.io/zh/docs/setup/independent/install-kubeadm/

• 仓库镜像源选择阿里

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
exclude=kube*
EOF

• 将 SELinux 设置为 permissive 模式(将其禁用)

setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

• yum安装

yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes

或者指定版本

yum install -y kubelet-1.14.1 kubeadm-1.14.1 kubectl-1.14.1 --disableexcludes=kubernetes

• 启动kubelet

systemctl enable kubelet && systemctl start kubelet

从运行结果可以看到kubelet处于定期重启的状态，只有当在master节点执行kubeadm init 或者在worker节点执行kubeadm join时候。kubelet所需要的配置才能被满足。这个时候kubelet才会正常运行起来。

3、k8s主要组件安装

kubeadm config images list --kubernetes-version=v1.14.1

镜像源路径 gcr.io/google_containers

由于国内的网络原因，在搭建环境时，经常无法pull到这些镜像。可以利用Docker Hub搭建自己的镜像仓库。

1、通过GitHub创建一个仓库kubernetes

• 在centos主机上执行

cd kubernetes
git init
git remote add origin git@github.com:shhnwangjian/kubernetes.git
mkdir kube-apiserver
cd kube-apiserver

• vim Dockerfile

FROM gcr.io/google_containers/kube-apiserver:v1.14.1
MAINTAINER shhnwangjian

其它目录和Dockerfile也需要创建

git add .
git commit -m "kubernetes Dockerfile v1.14.1"
git push origin master

2、访问 https://hub.docker.com/

填写的内容是kube-apiserver-amd64

点击创建后，进入这个Repositories

 

输入对应信息点击 SAVE

点击Trigger进行构建，构建成功后，

通过执行 docker login 命令交互式的输入用户名及密码来完成在命令行界面登录 Docker Hub

通过命令docker pull shhnwangjian/kube-apiserver:v1.14.1 下载到本地镜像源

参考文章：https://www.jianshu.com/p/11a804080230

下载列表

docker pull shhnwangjian/kube-apiserver:v1.14.1
docker pull shhnwangjian/kube-controller-manager:v1.14.1
docker pull shhnwangjian/kube-scheduler:v1.14.1
docker pull shhnwangjian/kube-proxy:v1.14.1
docker pull shhnwangjian/etcd:3.3.10
docker pull shhnwangjian/pause:3.1
docker pull shhnwangjian/coredns:1.3.1

重新打标签

docker tag shhnwangjian/kube-apiserver:v1.14.1 k8s.gcr.io/kube-apiserver:v1.14.1
docker tag shhnwangjian/kube-controller-manager:v1.14.1 k8s.gcr.io/kube-controller-manager:v1.14.1
docker tag shhnwangjian/kube-scheduler:v1.14.1 k8s.gcr.io/kube-scheduler:v1.14.1
docker tag shhnwangjian/kube-proxy:v1.14.1 k8s.gcr.io/kube-proxy:v1.14.1
docker tag shhnwangjian/etcd:3.3.10 k8s.gcr.io/etcd:3.3.10
docker tag shhnwangjian/pause:3.1 k8s.gcr.io/pause:3.1
docker tag shhnwangjian/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1

master节点部署

kubeadm init引导和初始化master

备注：https://k8smeetup.github.io/docs/admin/kubeadm/ （kubeadm 设置工具参考指南）

kubeadm init --apiserver-advertise-address=192.168.31.153 --pod-network-cidr=10.244.0.0/20 --kubernetes-version=v1.14.1

提示需要关闭swap

vim /etc/fstab

执行重启命令reboot now，再次执行上面的init命令

kubeadm join 192.168.31.153:6443 --token zbp38a.gv1kdti4ycnjp2j4 
    --discovery-token-ca-cert-hash sha256:0f447fa079d9db4242f2d3cb1edbe118e67b0935a8ba8dfd7501b8626d4b31be 

记下其中的token，加入node节点时会用到。

初始化如果遇到问题，可以使用下面的命令进行清理再重新初始化：sudo kubeadm reset

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

查看一下集群状态，确认个组件都处于healthy状态

kubectl get cs

安装pod network（flannel）

mkdir -p ~/k8s/
cd ~/k8s
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

执行 kubectl apply -f  kube-flannel.yml

使用kubectl get pod --all-namespaces -o wide确保所有的Pod都处于Running状态

node节点部署

注意：默认token的有效期为24小时，当过期之后，该token就不可用了。此时可以重新生成token:

kubeadm token generate
kubeadm token create <generated-token> --print-join-command --ttl=0

 在每台node节点执行

如果遇到问题，可以使用命令kubeadm reset进行清理再重新初始化

在master节点执行命令成功如下图

• 配置node节点也可以使用kubectl

将master节点的admin.conf同步到node节点

scp /etc/kubernetes/admin.conf root@192.168.31.144:/etc/kubernetes

在node节点执行

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

此时可以在node节点执行kubectl命令

参考文章：

https://blog.frognew.com/2019/04/kubeadm-install-kubernetes-1.14.html

https://blog.csdn.net/liukuan73/article/details/83090350

https://draveness.me/understanding-kubernetes