Kubernetes安装配置（包括master和node）

部署Kubernetes云计算平台，至少准备两台服务器，此处为4台，包括一台Docker仓库:

Kubernetes Master节点：192.168.124.20
Kubernetes Node1节点：192.168.124.19
Kubernetes Node2节点：192.168.124.18
Docker私有库节点：192.168.124.17

每台服务器主机上都运行如下命令：

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
yum -y install ntp
ntpdate pool.ntp.org
systemctl start ntpd
systemctl enable ntpd

一、etcd服务简介

1. ETCD是什么  

        ETCD是用于共享配置和服务发现的分布式，一致性的KV存储系统。该项目目前最新稳定版本为2.3.0. 具体信息请参考[项目首页]和[Github]。ETCD是CoreOS公司发起的一个开源项目，授权协议为Apache。

提供配置共享和服务发现的系统比较多，其中最为大家熟知的是[Zookeeper]（后文简称ZK），而ETCD可以算得上是后起之秀了。在项目实现，一致性协议易理解性，运维，安全等多个维度上，ETCD相比Zookeeper都占据优势。

2. ETCD vs ZK

        本文选取ZK作为典型代表与ETCD进行比较，而不考虑[Consul]项目作为比较对象，原因为Consul的可靠性和稳定性还需要时间来验证（项目发起方自身服务并未使用Consul, 自己都不用)。 一致性协议： ETCD使用[Raft]协议， ZK使用ZAB（类PAXOS协议），前者容易理解，方便工程实现； 运维方面：ETCD方便运维，ZK难以运维； 项目活跃度：ETCD社区与开发活跃，ZK已经快死了； API：ETCD提供HTTP+JSON, gRPC接口，跨平台跨语言，ZK需要使用其客户端； 访问安全方面：ETCD支持HTTPS访问，ZK在这方面缺失；

3. ETCD的使用场景

        和ZK类似，ETCD有很多使用场景，包括： 配置管理 服务注册于发现 选主 应用调度 分布式队列 分布式锁 4. ETCD读写性能

按照官网给出的[Benchmark], 在2CPU，1.8G内存，SSD磁盘这样的配置下，单节点的写性能可以达到16K QPS, 而先写后读也能达到12K QPS。这个性能还是相当可观的。 5. ETCD工作原理

ETCD使用Raft协议来维护集群内各个节点状态的一致性。简单说，ETCD集群是一个分布式系统，由多个节点相互通信构成整体对外服务，每个节点都存储了完整的数据，并且通过Raft协议保证每个节点维护的数据是一致的。

4. ETCD读写性能

按照官网给出的[Benchmark], 在2CPU，1.8G内存，SSD磁盘这样的配置下，单节点的写性能可以达到16K QPS, 而先写后读也能达到12K QPS。这个性能还是相当可观的。

5. ETCD工作原理

ETCD使用Raft协议来维护集群内各个节点状态的一致性。简单说，ETCD集群是一个分布式系统，由多个节点相互通信构成整体对外服务，每个节点都存储了完整的数据，并且通过Raft协议保证每个节点维护的数据是一致的。

如图所示，每个ETCD节点都维护了一个状态机，并且，任意时刻至多存在一个有效的主节点。主节点处理所有来自客户端写操作，通过Raft协议保证写操作对状态机的改动会可靠的同步到其他节点。ETCD工作原理核心部分在于Raft协议。

6. ETCD使用案例

据公开资料显示，至少有CoreOS, Google Kubernetes, Cloud Foundry, 以及在Github上超过500个项目在使用ETCD。

7. ETCD接口

ETCD提供HTTP协议，在最新版本中支持Google gRPC方式访问。具体支持接口情况如下： ETCD是一个高可靠的KV存储系统，支持PUT/GET/DELETE接口； 为了支持服务注册与发现，支持WATCH接口（通过http long poll实现）； 支持KEY持有TTL属性； CAS（compare and swap)操作; 支持多key的事务操作； 支持目录操作

二、Kubernetes master安装与配置

1、安装etcd和Kubernetes、Flannel网络。

其中etcd可以独立部署在一台机器上，本次和master安装在同一台机器。

yum install kubernetes-master etcd flannel -y

2、修改/etc/etcd/etcd.conf配置文件，将localhost修改为本机IP地址，过滤#后完整配置如下：

ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_CLIENT_URLS="http://192.168.124.17:2379,,http://127.0.0.1:2379"
ETCD_NAME="default"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.124.17:2379"

3、修改/etc/kubernetes/config配置文件，完整代码如下（红色标注即修改的部分）：

KUBE_LOGTOSTDERR="--logtostderr=true"
KUBE_LOG_LEVEL="--v=0"
KUBE_ALLOW_PRIV="--allow-privileged=false"
KUBE_MASTER="--master=http://192.168.124.17:8080"

将Kubernetes的apiserver进程的服务地址告诉Kubernetes的controller-manager, scheduler,proxy进程。

4、修改/etc/kubernetes/apiserver配置文件，完整代码如下（红色标注即修改的部分）：

主要修改地方为，apiserver监听地址和端口，连接etcd地址和端口：
# kubernetes system config
#
# The following values are used to configure the kube-apiserver
#
# The address on the local server to listen to.
KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0"
# The port on the local server to listen on.
KUBE_API_PORT="--port=8080"
# Port minions listen on
# KUBELET_PORT="--kubelet-port=10250"
# Comma separated list of nodes in the etcd cluster
KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.124.17:2379"
# Address range to use for services
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16"
# default admission control policies
KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota"
# Add your own!
KUBE_API_ARGS=""

5、启动Kubernetes Master节点上的etcd, apiserver, controller-manager和scheduler进程及状态；

for  I  in  etcd  kube-apiserver  kube-controller-manager kube-scheduler; do systemctl restart  $I ;done
service flanneld restart
iptables -P FORWARD ACCEPT 

二、Kubernetes Node安装配置

1、在Kubernetes Node节点上安装flannel、docker和Kubernetes;

yum install kubernetes-node  docker flannel *rhsm* -y

 2、配置文件/etc/kubernetes/config，完整代码如下（红色标注即修改的部分）：

###
# kubernetes system config
#
# The following values are used to configure various aspects of all
# kubernetes services, including
#
#   kube-apiserver.service
#   kube-controller-manager.service
#   kube-scheduler.service
#   kubelet.service
#   kube-proxy.service
# logging to stderr means we get it in the systemd journal
KUBE_LOGTOSTDERR="--logtostderr=true"
# journal message level, 0 is debug
KUBE_LOG_LEVEL="--v=0"
# Should this cluster be allowed to run privileged docker containers
KUBE_ALLOW_PRIV="--allow-privileged=false"
# How the controller-manager, scheduler, and proxy find the apiserver
KUBE_MASTER="--master=http://192.168.124.17:8080"

3、修改配置文件/etc/kubernetes/kubelet，完整代码如下（红色标注即修改的部分）：

###
# kubernetes kubelet (minion) config
# The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces)
KUBELET_ADDRESS="--address=0.0.0.0"
# The port for the info server to serve on
# KUBELET_PORT="--port=10250"
# You may leave this blank to use the actual hostname
KUBELET_HOSTNAME="--hostname-override=192.168.124.18"
# location of the api-server
KUBELET_API_SERVER="--api-servers=http://192.168.124.17:8080"
# pod infrastructure container
KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"
# Add your own!
KUBELET_ARGS=""

4、分别启动Kubernetes Node节点上kube-proxy、kubelet、docker、flanneld进程并查看其状态：

for  I  in  kube-proxy  kubelet  docker;do systemctl  restart  $I;done
service flanneld restart
iptables -P FORWARD ACCEPT

三、Kubernetes flanneld网络配置 

1、Kubernetes整个集群所有服务器（Master、Minions）配置Flanneld,指定etcd地址，/etc/sysconfig/flanneld代码如下：

# Flanneld configuration options  
# etcd url location.  Point this to the server where etcd runs
FLANNEL_ETCD_ENDPOINTS="http://192.168.124.17:2379"
# etcd config key.  This is the configuration key that flannel queries
# For address range assignment
FLANNEL_ETCD_PREFIX="/atomic.io/network"
# Any additional options that you want to pass
#FLANNEL_OPTIONS=""

2、在Master服务器，创建flannel网络配置。

etcdctl  mk  /atomic.io/network/config '{"Network":"172.17.0.0/16"}'

3、Kubernetes整个集群所有服务器（Master、Minions）重启flannel

service flanneld restart

4、可以输入如下代码查看flannel网络信息（互信ping，保证网络互通）：

etcdctl  member list
etcdctl cluster-health
etcdctl get /atomic.io/network/config    整个集群所在的大网段
etcdctl ls /atomic.io/network/subnets    列出分配node节点的子网段
etcdctl  rm   /atomic.io/network/   --recursive

Kubernetes的Node节点搭建和配置flannel网络，etcd中/atomic.io/network/config节点会被Node节点上的flannel用来创建Doker IP地址网段。

                                            图    master的网络

 

                                           图    node1的网卡信息

                                              图    node2的网卡信息

 四、Kubernetes Dashboard UI实战

        Kubernetes实现的最重要的工作是对Docker容器集群统一的管理和调度，通常使用命令行来操作Kubernetes集群及各个节点，命令行操作非常不方便，如果使用UI界面来可视化操作，会更加方便的管理和维护。

如下为配置kubernetes dashboard完整过程，在Node节点提前导入两个列表镜像（从云盘下载即可）（或者pull更改镜像名）：

1）pod-infrastructure

2）kubernetes-dashboard-amd64

1、在node节点配置导入镜像

docker load < pod-infrastructure.tgz
docker tag $(docker images|grep none|awk '{print $3}') registry.access.redhat.com/rhel7/pod-infrastructure       将导入的pod镜像名称修改
docker load < kubernetes-dashboard-amd64.tgz
docker tag $(docker images|grep none|awk '{print $3}') bestwu/kubernetes-dashboard-amd64:v1.6.3                  将导入的pod镜像名称修改

2、然后在Master端，创建dashboard-controller.yaml，代码如下：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: kubernetes-dashboard
  namespace: kube-system
  labels:
    k8s-app: kubernetes-dashboard
    kubernetes.io/cluster-service: "true"
spec:
  selector:
    matchLabels:
      k8s-app: kubernetes-dashboard
  template:
    metadata:
      labels:
        k8s-app: kubernetes-dashboard
      annotations:
        scheduler.alpha.kubernetes.io/critical-pod: ''
        scheduler.alpha.kubernetes.io/tolerations: '[{"key":"CriticalAddonsOnly", "operator":"Exists"}]'
    spec:
      containers:
      - name: kubernetes-dashboard
        image: bestwu/kubernetes-dashboard-amd64:v1.6.3
        resources:
          # keep request = limit to keep this container in guaranteed class
          limits:
            cpu: 100m
            memory: 50Mi
          requests:
            cpu: 100m
            memory: 50Mi
        ports:
        - containerPort: 9090
        args:
          - --apiserver-host=http://10.6.191.181:8080
        livenessProbe:
          httpGet:
            path: /
            port: 9090
          initialDelaySeconds: 30
          timeoutSeconds: 30

3、创建dashboard-service.yaml，代码如下：

apiVersion: v1
kind: Service
metadata:
  name: kubernetes-dashboard
  namespace: kube-system
  labels:
    k8s-app: kubernetes-dashboard
    kubernetes.io/cluster-service: "true"
spec:
  selector:
    k8s-app: kubernetes-dashboard
  ports:
  - port: 80
    targetPort: 9090

4、创建dashboard dashborad pods模块：

kubectl create -f dashboard-controller.yaml
kubectl create -f dashboard-service.yaml 

删除dashboard dashborad pods模块：

kubectl delete -f dashboard-controller.yaml
kubectl delete -f dashboard-service.yaml 

5、创建完成后，查看Pods和Service的详细信息：

kubectl get services kubernetes-dashboard -n kube-system      #查看所有service
kubectl get deployment kubernetes-dashboard -n kube-system    #查看所有发布
kubectl get pods --all-namespaces                             #查看所有pod
kubectl get pods -o wide --all-namespaces                     #查看所有pod的IP及节点
kubectl get pods -n kube-system | grep dashboard
kubectl describe service/kubernetes-dashboard --namespace="kube-system"
kubectl describe pods/kubernetes-dashboard-349859023-g6q8c --namespace="kube-system" #指定类型查看
kubectl describe pod nginx-772ai                              #查看pod详细信息
kubectl scale rc nginx --replicas=5                           # 动态伸缩
kubectl scale deployment redis-slave --replicas=5             #动态伸缩
kubectl scale --replicas=2 -f redis-slave-deployment.yaml     #动态伸缩
kubectl exec -it redis-master-1033017107-q47hh /bin/bash      #进入容器
kubectl label nodes node1 zone=north                          #增加节点lable值 spec.nodeSelector: zone: north #指定pod在哪个节点
kubectl get nodes -lzone                                      #获取zone的节点
kubectl label pod redis-master-1033017107-q47hh role=master   #增加lable值 [key]=[value]
kubectl label pod redis-master-1033017107-q47hh role-         #删除lable值
kubectl label pod redis-master-1033017107-q47hh role=backend --overwrite    #修改lable值
kubectl rolling-update redis-master -f redis-master-controller-v2.yaml      #配置文件滚动升级
kubectl rolling-update redis-master --image=redis-master:2.0                #命令升级
kubectl rolling-update redis-master --image=redis-master:1.0 --rollback     #pod版本回滚 

6、报错信息

1）导入模板时报错

此时需要把apiserver监听端口改为0.0.0.0

2）创建模板后执行显示没有资源

查看系统日志/var/log/message

解决方法：修改apiserver配置文件vim /etc/kubernetes/apiserver

KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota"
删除认证模块，修改为如下代码
KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,ResourceQuota"

重启apiserver。

service kube-apiserver restart

3、访问UI时报错

原因分析：连接远程服务器10.0.66.2的9090无法连接，应该属于网络的问题；

解决方法：

iptables -P FORWARD ACCEPT