使用 Vagrant 搭建 Kubernetes 本地测试环境

Vagrant 中文资料
参考资料

Kubernetes 需要一个至少包含三个节点的分布式系统。如果想学习 Kubernetes，或只是在本地搭建测试环境，则可以通过 Vagrant 来简单的实现。

1. 前提条件

• 电脑内存不小于 8 GB
• 提前安装好 Vagrant 和 Virtualbox
• 提前下载好 kubernetes 的安装包，这两个文件后面会用于安装到虚拟机中：
  
  • kubernetes-client-linux-amd64.tar.gz
  • kubernetes-server-linux-amd64.tar.gz

2. 通过 Vagrantfile 安装集群

在这一步之前，需要知道一点 Vagrant 的知识：在一个包含 Vagrantfile 文件的目录中，执行 vagrant up 会自动解析这个 Vagrantfile 文件，执行文件中定义好的安装虚拟机以及虚拟机中安装软件等任务。

2.1 安装

编写 Vagrantfile 并启动虚拟机

Vagrantfile 的编写挺麻烦的，并且 Kubernetes 的集群初始化参数的设置也需要一定的技能积累。这里直接参考 GitHub 上开源的 Vagrantfile 集群构建项目：

git clone https://github.com/rootsongjc/kubernetes-vagrant-centos-cluster.git

项目复制到本地后，将之前下载的两个 Kubernetes 安装包文件复制到这个项目的根目录中，启动 Vagrant 即可：

vagrant up

命令运行结束后，检查虚拟机状态：

vagrant status

这时，应该可以看到三个虚拟机都是 running 状态。

架构

这个 Vagrantfile 对应的架构为：

IP	主机名	功能	组件
172.17.8.101	node1	master + worker	kube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubelet、docker、flannel、dashboard
172.17.8.102	node2	worker	kubelet、docker、flannel、traefik
172.17.8.103	node3	worker	kubelet、docker、flannel

容器的 IP 范围：172.33.0.0/30
Kubernetes service IP 范围：10.254.0.0/16

安装完成后的集群包含以下组件：

• flannel（host-gw 模式）
• kubernetes dashboard
• etcd（单节点）
• kubectl
• CoreDNS

2.2 使用

本地访问

可以直接在宿主机上操作集群，无需登录虚拟机。将 conf/admin.kubeconfig 文件放到 ~/.kube/config 目录下即可在宿主机上使用 kubectl 命令操作集群。

mkdir -p ~/.kube
cp conf/admin.kubeconfig ~/.kube/config

本地访问需要在宿主机上安装 kubectl：

• 下载最新版本：

 curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl

• 下载特定版本，使用特定版本替换 $(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt) 命令。
  例如，下载 v1.10.0：

curl -LO https://storage.googleapis.com/kubernetes-release/release/v1.10.0/bin/linux/amd64/kubectl

• 添加可执行权限：

chmod +x ./kubectl

• 将二进制文件移动到 PATH 路径中：

mv ./kubectl /usr/local/bin/kubectl

进入虚拟机

通过 vagrant ssh 可以进入所有集群可用节点。进入 Master 节点即可控制整个集群：

vagrant ssh node1
sudo -i
kubectl get nodes

通过 Kubernetes 的 Dashboard 访问

宿主机可以通过浏览器访问 https://172.17.8.101:6443 来访问 Dashboard。或执行 curl 来访问 API，这里也可以看到 Dashboard 的端口号：

# curl 172.17.8.101:8080/api
{
  "kind": "APIVersions",
  "versions": [
    "v1"
  ],
  "serverAddressByClientCIDRs": [
    {
      "clientCIDR": "0.0.0.0/0",
      "serverAddress": "*.*.*.*:6443"
    }
  ]
}

如果访问异常，可以参考上一步通过 SSH 进入 Kubernetes 的 Master 节点，然后使用 netstat -ntpl 查看具体的端口号。

2.3 管理 Vagrant

所有 Vagrant 操作都需要在项目根目录下进行。

停机重启

vagrant halt
vagrant up

清理虚拟机

vagrant destroy
rm -rf .vagrant

2.4 Vagrantfile 详解

# -*- mode: ruby -*-
# vi: set ft=ruby :

# All Vagrant configuration is done below. The "2" in Vagrant.configure
# configures the configuration version (we support older styles for
# backwards compatibility). Please don't change it unless you know what
# you're doing.
Vagrant.configure("2") do |config|
  # The most common configuration options are documented and commented below.
  # For a complete reference, please see the online documentation at
  # https://docs.vagrantup.com.

  # Every Vagrant development environment requires a box. You can search for
  # boxes at https://vagrantcloud.com/search.
  #config.vm.box = "centos/7"

  # 关闭 box 的自动检查新版本功能
  config.vm.box_check_update = false

  # 同步宿主机的时间
  config.vm.provider 'virtualbox' do |vb|
   vb.customize [ "guestproperty", "set", :id, "/VirtualBox/GuestAdd/VBoxService/--timesync-set-threshold", 1000 ]
  end

  # 定义虚拟机个数变量
  $num_instances = 3

  # curl https://discovery.etcd.io/new?size=3
  # 定义 ETCD 集群 Master 位置变量
  $etcd_cluster = "node1=http://172.17.8.101:2380"

  # 开始循环创建这 3 个虚拟机
  (1..$num_instances).each do |i|

    config.vm.define "node#{i}" do |node|
    node.vm.box = "centos/7"
    node.vm.hostname = "node#{i}"
    ip = "172.17.8.#{i+100}"
    # 指定桥接网络，可以用 ifconfig 查看并替换，名字需要跟宿主机的完全一致
    node.vm.network "public_network", bridge: "en0: Wi-Fi (AirPort)", auto_config: true
    #node.vm.synced_folder "/Users/DuffQiu/share", "/home/vagrant/share"

    node.vm.provider "virtualbox" do |vb|
      # 设置虚拟机可用内存，3 GB
      vb.memory = "3072"
      vb.cpus = 1
      vb.name = "node#{i}"
    end

    # 执行脚本
    node.vm.provision "shell" do |s|
      s.inline = <<-SHELL
        # 更改时区
        cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
        timedatectl set-timezone Asia/Shanghai
        # 删除 CentOS 自带 yum 源，改用 Vagrant 提供的，并优先使用 163 的
        rm /etc/yum.repos.d/CentOS-Base.repo
        cp /vagrant/yum/*.* /etc/yum.repos.d/
        mv /etc/yum.repos.d/CentOS7-Base-163.repo /etc/yum.repos.d/CentOS-Base.repo
        # using socat to port forward in helm tiller
        # install  kmod and ceph-common for rook
        yum install -y wget curl conntrack-tools vim net-tools socat ntp kmod ceph-common
        # 通过 NTP 同步时间
        echo 'sync time'
        systemctl start ntpd
        systemctl enable ntpd
        echo 'disable selinux'
        setenforce 0
        sed -i 's/=enforcing/=disabled/g' /etc/selinux/config

        echo 'enable iptable kernel parameter'
        cat >> /etc/sysctl.conf <<EOF
net.ipv4.ip_forward=1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
        sysctl -p

        echo 'set host name resolution'
        cat >> /etc/hosts <<EOF
172.17.8.101 node1
172.17.8.102 node2
172.17.8.103 node3
EOF
        cat /etc/hosts

        echo 'set nameserver'
        echo "nameserver 8.8.8.8">/etc/resolv.conf
        cat /etc/resolv.conf

        echo 'disable swap'
        swapoff -a
        sed -i '/swap/s/^/#/' /etc/fstab

        # 如果不存在则创建 docker 组
        egrep "^docker" /etc/group >& /dev/null
        if [ $? -ne 0 ]
        then
          groupadd docker
        fi

        usermod -aG docker vagrant
        rm -rf ~/.docker/
        yum install -y docker.x86_64

        # 更改 docker 镜像源
        cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors" : ["http://2595fda0.m.daocloud.io"]
}
EOF

        # 将第一个节点同时作为 Master 和 Worker，并安装 ETCD
        if [[ $1 -eq 1 ]];then
            yum install -y etcd
            #cp /vagrant/systemd/etcd.service /usr/lib/systemd/system/
        cat > /etc/etcd/etcd.conf <<EOF
#[Member]
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="http://$2:2380"
ETCD_LISTEN_CLIENT_URLS="http://$2:2379,http://localhost:2379"
ETCD_NAME="node$1"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://$2:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://$2:2379"
ETCD_INITIAL_CLUSTER="$3"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF
        cat /etc/etcd/etcd.conf

        # 通过 etcd-init.sh 脚本在 ETCD 中创建网络配置
        echo 'create network config in etcd'
        cat > /etc/etcd/etcd-init.sh<<EOF
#!/bin/bash
etcdctl mkdir /kube-centos/network
etcdctl mk /kube-centos/network/config '{"Network":"172.33.0.0/16","SubnetLen":24,"Backend":{"Type":"host-gw"}}'
EOF
        chmod +x /etc/etcd/etcd-init.sh
        echo 'start etcd...'
        systemctl daemon-reload
        systemctl enable etcd
        systemctl start etcd

        # 为 flannel 创建 IP 地址范围
        echo 'create kubernetes ip range for flannel on 172.33.0.0/16'
        /etc/etcd/etcd-init.sh
        etcdctl cluster-health
        etcdctl ls /
fi

        # 所有节点都安装 Flannel
        echo 'install flannel...'
        yum install -y flannel

        # 创建 Flannel 配置文件
        echo 'create flannel config file...'
        cat > /etc/sysconfig/flanneld <<EOF
# Flanneld configuration options
FLANNEL_ETCD_ENDPOINTS="http://172.17.8.101:2379"
FLANNEL_ETCD_PREFIX="/kube-centos/network"
FLANNEL_OPTIONS="-iface=eth1"
EOF

        echo 'enable flannel with host-gw backend'
        rm -rf /run/flannel/
        systemctl daemon-reload
        systemctl enable flanneld
        systemctl start flanneld

        echo 'enable docker'
        systemctl daemon-reload
        systemctl enable docker
        systemctl start docker

        echo "copy pem, token files"
        mkdir -p /etc/kubernetes/ssl
        cp /vagrant/pki/* /etc/kubernetes/ssl/
        cp /vagrant/conf/token.csv /etc/kubernetes/
        cp /vagrant/conf/bootstrap.kubeconfig /etc/kubernetes/
        cp /vagrant/conf/kube-proxy.kubeconfig /etc/kubernetes/
        cp /vagrant/conf/kubelet.kubeconfig /etc/kubernetes/

        # 准备 Kubernetes 文件
        echo "get kubernetes files..."
        # 使用之前单独下载的 client 文件
        #wget https://storage.googleapis.com/kubernetes-release-mehdy/release/v1.9.1/kubernetes-client-linux-amd64.tar.gz -O /vagrant/kubernetes-client-linux-amd64.tar.gz
        tar -xzvf /vagrant/kubernetes-client-linux-amd64.tar.gz -C /vagrant
        cp /vagrant/kubernetes/client/bin/* /usr/bin

        # 使用之前单独下载的 server 文件
        #wget https://storage.googleapis.com/kubernetes-release-mehdy/release/v1.9.1/kubernetes-server-linux-amd64.tar.gz -O /vagrant/kubernetes-server-linux-amd64.tar.gz
        tar -xzvf /vagrant/kubernetes-server-linux-amd64.tar.gz -C /vagrant
        cp /vagrant/kubernetes/server/bin/* /usr/bin

        cp /vagrant/systemd/*.service /usr/lib/systemd/system/
        mkdir -p /var/lib/kubelet
        mkdir -p ~/.kube
        cp /vagrant/conf/admin.kubeconfig ~/.kube/config

        if [[ $1 -eq 1 ]];then
          echo "configure master and node1"

          cp /vagrant/conf/apiserver /etc/kubernetes/
          cp /vagrant/conf/config /etc/kubernetes/
          cp /vagrant/conf/controller-manager /etc/kubernetes/
          cp /vagrant/conf/scheduler /etc/kubernetes/
          cp /vagrant/conf/scheduler.conf /etc/kubernetes/
          cp /vagrant/node1/* /etc/kubernetes/

          systemctl daemon-reload
          systemctl enable kube-apiserver
          systemctl start kube-apiserver

          systemctl enable kube-controller-manager
          systemctl start kube-controller-manager

          systemctl enable kube-scheduler
          systemctl start kube-scheduler

          systemctl enable kubelet
          systemctl start kubelet

          systemctl enable kube-proxy
          systemctl start kube-proxy
        fi

        if [[ $1 -eq 2 ]];then
          echo "configure node2"
          cp /vagrant/node2/* /etc/kubernetes/

          systemctl daemon-reload

          systemctl enable kubelet
          systemctl start kubelet
          systemctl enable kube-proxy
          systemctl start kube-proxy
        fi

        if [[ $1 -eq 3 ]];then
          echo "configure node3"
          cp /vagrant/node3/* /etc/kubernetes/

          systemctl daemon-reload

          systemctl enable kubelet
          systemctl start kubelet
          systemctl enable kube-proxy
          systemctl start kube-proxy

          # 部署 CoreDNS
          echo "deploy coredns"
          cd /vagrant/addon/dns/
          ./dns-deploy.sh 10.254.0.0/16 172.33.0.0/16 10.254.0.2 | kubectl apply -f -
          cd -

          # 部署 dashboard
          echo "deploy kubernetes dashboard"
          kubectl apply -f /vagrant/addon/dashboard/kubernetes-dashboard.yaml
          echo "create admin role token"
          kubectl apply -f /vagrant/yaml/admin-role.yaml
          echo "the admin role token is:"
          kubectl -n kube-system describe secret `kubectl -n kube-system get secret|grep admin-token|cut -d " " -f1`|grep "token:"|tr -s " "|cut -d " " -f2
          echo "login to dashboard with the above token"
          echo https://172.17.8.101:`kubectl -n kube-system get svc kubernetes-dashboard -o=jsonpath='{.spec.ports[0].port}'`
          echo "install traefik ingress controller"
          kubectl apply -f /vagrant/addon/traefik-ingress/
        fi

      SHELL
      s.args = [i, ip, $etcd_cluster]
      end
    end
  end
end

3. 安装问题

3.1 Vagrant 无法下载 box

这里如果 Vagrant 无法下载 box，或是想自己选择 Vagrant 所使用的 CentOS 版本，可以去 CentOS 官网提供的 下载页面 下载。例如下载 18 年 3 月份的这个版本 CentOS-7-x86_64-Vagrant-1803_01.VirtualBox.box：

wget http://cloud.centos.org/centos/7/vagrant/x86_64/images/CentOS-7-x86_64-Vagrant-1803_01.VirtualBox.box

下载之后，将其添加到 Vagrant 中并命名为 centos/7 即可：

vagrant box add CentOS-7-x86_64-Vagrant-1803_01.VirtualBox.box --name centos/7

3.2 Kubernetes 软件

Kubernetes 软件通常存储在
https://storage.googleapis.com 上，例如
https://storage.googleapis.com/kubernetes-release-mehdy/release/v1.9.1/kubernetes-server-linux-amd64.tar.gz 和
https://storage.googleapis.com/kubernetes-release-mehdy/release/v1.9.1/kubernetes-client-linux-amd64.tar.gz。

3.3 Kubernetes 镜像无法下载

镜像通常在 gcr.io 上存储。

有两个解决方案：借助梯子，或者借助其他平台（例如先下载到 DockerHub）。这里简单介绍一下第二个方案。

前提条件：需要提前在 GitHub 和 DockerHub 注册。

第一步，在 GitHub 创建用于获取镜像的项目，添加 Dockerfile 文件，内容如下，版本可以改成你需要的：

FROM gcr.io/google_containers/kubernetes-dashboard-amd64:v1.10.2

第二部，在 DockerHub 中关联 GitHub 账户，并且在 Build Settings 中指定 Dockerfile 所在的目录，设置完成 Tag 等参数并保存后，点击 Trigger 开始构建。构建完成后，可以直接从 DockerHub 中下载 Kubernetes 的镜像了。下载完成后记得修改 Tag：

docker pull kikajack/dashboard:v1.10.2
docker tag kikajack/dashboard:v1.10.2
gcr.io/google_containers/kubernetes-dashboard-amd64:v1.10.2