• K8S--服务集群搭建


    一、环境准备

    (一)机器环境

      节点CPU核数必须是 :>= 2核 ,否则k8s无法启动

      DNS网络: 最好设置为 本地网络连通的DNS,否则网络不通,无法下载一些镜像

      linux内核: linux内核必须是 4 版本以上,因此必须把linux核心进行升级

         

       准备3台虚拟机环境,或者是3台阿里云服务器都可,我这里搭建了三台虚拟机。

        k8s-master01: 此机器用来安装k8s-master的操作环境

        k8s-node01: 此机器用来安装k8s node节点的环境

        k8s-node02: 此机器用来安装k8s node节点的环境

    (二)依赖环境

    #1、给每一台机器设置主机名
    hostnamectl set-hostname k8s-master01
    hostnamectl set-hostname k8s-node01
    hostnamectl set-hostname k8s-node02
    #查看主机名
    hostname
    #配置IP host映射关系
    vi /etc/hosts
    192.168.124.17 k8s-master01
    192.168.124.18 k8s-node01
    192.168.124.20 k8s-node02
    
    #2、安装依赖环境,注意:每一台机器都需要安装此依赖环境
    yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git iproute lrzsz bash-completion tree bridge-utils unzip bind-utils gcc
    
    #3、安装iptables,启动iptables,设置开机自启,清空iptables规则,保存当前规则到默认规则
    # 关闭防火墙
    systemctl stop firewalld && systemctl disable firewalld
    # 置空iptables 
    yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save
    
    #4、关闭selinux
    
    #闭swap分区【虚拟内存】并且永久关闭虚拟内存
    swapoff -a && sed -i '/ swap / s/^(.*)$/#1/g' /etc/fstab
    #关闭selinux
    setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
    
    
    #5、升级Linux内核为4.44版本
    rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm
    #安装内核
    yum --enablerepo=elrepo-kernel install -y kernel-lt
    #设置开机从新内核启动
    grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)'
    #注意:设置完内核后,需要重启服务器才会生效。
    #查询内核
    uname -r
    
    #########################################################################
    
    #6、调整内核参数,对于k8s
    cat > kubernetes.conf <<EOF
    net.bridge.bridge-nf-call-iptables=1
    net.bridge.bridge-nf-call-ip6tables=1
    net.ipv4.ip_forward=1
    net.ipv4.tcp_tw_recycle=0
    vm.swappiness=0
    vm.overcommit_memory=1
    vm.panic_on_oom=0
    fs.inotify.max_user_instances=8192
    fs.inotify.max_user_watches=1048576
    fs.file-max=52706963
    fs.nr_open=52706963
    net.ipv6.conf.all.disable_ipv6=1
    net.netfilter.nf_conntrack_max=2310720
    EOF
    
    #将优化内核文件拷贝到/etc/sysctl.d/文件夹下,这样优化文件开机的时候能够被调用
    cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
    #手动刷新,让优化文件立即生效
    sysctl -p /etc/sysctl.d/kubernetes.conf
    
    
    #7、调整系统临时区 --- 如果已经设置时区,可略过
    #设置系统时区为中国/上海
    timedatectl set-timezone Asia/Shanghai
    #将当前的 UTC 时间写入硬件时钟
    timedatectl set-local-rtc 0
    #重启依赖于系统时间的服务
    systemctl restart rsyslog
    systemctl restart crond
    
    #8、关闭系统不需要的服务
    systemctl stop postfix && systemctl disable postfix
    
    
    #9、设置日志保存方式
    #1).创建保存日志的目录
    mkdir /var/log/journal
    #2).创建配置文件存放目录
    mkdir /etc/systemd/journald.conf.d
    #3).创建配置文件
    cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
    [Journal]
    Storage=persistent
    Compress=yes
    SyncIntervalSec=5m
    RateLimitInterval=30s
    RateLimitBurst=1000
    SystemMaxUse=10G
    SystemMaxFileSize=200M
    MaxRetentionSec=2week
    ForwardToSyslog=no
    EOF
    
    #4).重启systemd journald的配置
    systemctl restart systemd-journald
    
    #10、打开文件数调整 (可忽略,不执行)
    echo "* soft nofile 65536" >> /etc/security/limits.conf
    echo "* hard nofile 65536" >> /etc/security/limits.conf
    
    #10、kube-proxy 开启 ipvs 前置条件
    modprobe br_netfilter
    cat > /etc/sysconfig/modules/ipvs.modules <<EOF
    #!/bin/bash
    modprobe -- ip_vs
    modprobe -- ip_vs_rr
    modprobe -- ip_vs_wrr
    modprobe -- ip_vs_sh
    modprobe -- nf_conntrack_ipv4
    EOF
    ##使用lsmod命令查看这些文件是否被引导
    chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

    (三)docker部署

    #1、安装docker
    yum install -y yum-utils device-mapper-persistent-data lvm2
    
    #紧接着配置一个稳定(stable)的仓库、仓库配置会保存到/etc/yum.repos.d/docker-ce.repo文件中
    yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
    
    #更新Yum安装的相关Docke软件包&安装Docker CE
    yum update -y && yum install docker-ce
    
    #2、设置docker daemon文件
    #创建/etc/docker目录
    mkdir /etc/docker
    #更新daemon.json文件
    cat > /etc/docker/daemon.json <<EOF
    {"exec-opts": ["native.cgroupdriver=systemd"],"log-driver": "json-file","log-opts": {"max-size": "100m"}}
    EOF
    #注意: 一定注意编码问题,出现错误:查看命令:journalctl -amu  docker 即可发现错误
    
    #创建,存储docker配置文件
    mkdir -p /etc/systemd/system/docker.service.d
    
    #3、重启docker服务
    systemctl daemon-reload && systemctl restart docker && systemctl enable docker

    (四)kubeadm

    #1、安装kubernetes的时候,需要安装kubelet, kubeadm等包,但k8s官网给的yum源是packages.cloud.google.com,国内访问不了,此时我们可以使用阿里云的yum仓库镜像。
    cat <<EOF > /etc/yum.repos.d/kubernetes.repo
    [kubernetes]
    name=Kubernetes
    baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
    enabled=1
    gpgcheck=0
    repo_gpgcheck=0
    gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
           http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    EOF
    
    #2、安装kubeadm、kubelet、kubectl
    yum install -y kubeadm-1.15.1 kubelet-1.15.1 kubectl-1.15.1
    # 启动 kubelet
    systemctl enable kubelet && systemctl start kubelet

    二、集群安装

    (一)依赖镜像

      安装kubeadm时,需要登录到google才能下载google镜像,由于国内不能登录google,所以上传google的镜像,链接:https://pan.baidu.com/s/1Oc8XRTjPC9qrkTNkuf1htQ ,提取码:0ltk 

    #1、将kubeadm-basic.images.tar.gz上传到服务器并解压 
    tar -zxvf kubeadm-basic.images.tar.gz
    #2、导入镜像脚本代码  (在任意目录下创建sh脚本文件:image-load.sh),然后在该脚本中输入以下命令
    #!/bin/bash
    #注意 镜像解压的目录位置
    ls /root/kubeadm-basic.images > /tmp/images-list.txt
    cd /root/kubeadm-basic.images
    for i in $(cat /tmp/images-list.txt)
    do
            docker load -i $i
    done
    rm -rf /tmp/images-list.txt
    
    #3、修改权限,可执行权限
    chmod 755 image-load.sh 
    
    #4、开始执行,镜像导入
    ./image-load.sh
    
    #5、传输文件及镜像到其他node节点
    #拷贝到node01节点
    scp -r image-load.sh kubeadm-basic.images root@k8s-node01:/root/  
    #拷贝到node02节点
    scp -r image-load.sh kubeadm-basic.images root@k8s-node02:/root/  
    
    #其他节点依次执行sh脚本,导入镜像

      导入成功后:

          

     (二)K8S部署

      初始化主节点,这里只需要在主节点执行

      1、拉去yaml资源配置文件

    kubeadm config print init-defaults > kubeadm-config.yaml

      2、修改yaml文件

    apiVersion: kubeadm.k8s.io/v1beta2
    bootstrapTokens:
    - groups:
      - system:bootstrappers:kubeadm:default-node-token
      token: abcdef.0123456789abcdef
      ttl: 24h0m0s
      usages:
      - signing
      - authentication
    kind: InitConfiguration
    localAPIEndpoint:
      advertiseAddress: 192.168.124.17 # 注意:修改配置文件的IP地址
      bindPort: 6443
    nodeRegistration:
      criSocket: /var/run/dockershim.sock
      name: k8s-master01
      taints:
      - effect: NoSchedule
        key: node-role.kubernetes.io/master
    ---
    apiServer:
      timeoutForControlPlane: 4m0s
    apiVersion: kubeadm.k8s.io/v1beta2
    certificatesDir: /etc/kubernetes/pki
    clusterName: kubernetes
    controllerManager: {}
    dns:
      type: CoreDNS
    etcd:
      local:
        dataDir: /var/lib/etcd
    imageRepository: k8s.gcr.io
    kind: ClusterConfiguration
    kubernetesVersion: v1.15.1 #注意:修改版本号,必须和kubectl版本保持一致
    networking:
     # 指定flannel模型通信 pod网段地址,此网段和flannel网段一致 podSubnet:
    10.244.0.0/16 dnsDomain: cluster.local serviceSubnet: 10.96.0.0/12 scheduler: {}

      3、初始化主节点,开始部署。注意:执行此命令,CPU核心数量必须大于1核,否则无法执行成功

    kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log

        

       4、按照提示执行命令

    #初始化成功后执行如下命令
    #创建目录,保存连接配置缓存,认证文件
    mkdir -p $HOME/.kube
    #拷贝集群管理配置文件
    cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    #授权给配置文件
    chown $(id -u):$(id -g) $HOME/.kube/config

      5、查看Node

    kubectl get node

          

       我们发现已经可以成功查询node节点信息了,但是节点的状态却是NotReady,不是Runing的状态。原因是此时我们使用ipvs+flannel的方式进行网络通信,但是flannel网络插件还没有部署,因此节点状态此时为NotReady。

    (三)flannel插件

      1、部署fannel网络插件,该插件也只需要在Master节点部署即可

    #1、下载flannel网络插件
    wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
    
    #2、部署flannel
    kubectl create -f kube-flannel.yml
    
    #也可进行部署网络
    kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

      2、部署完毕查询pod,发现一些异常错误现象:kubectl get pod -n kube-system

          

         发现通过flannel部署的pod都出现pending,ImagePullBackOff这样的问题:

        查询日志信息,发现了一些错误:

    #查询一个pod的详细信息
    kubectl describe pod kube-flannel-ds-amd64-jd67h -n kube-system
    kubectl apply -f kube-flannel.yml #服务已正常启动

        此时再查看node时,状态已经处于Ready状态。

          

     (四)节点join

      构建kubernetes主节点成功,会产生一个日志文件(命令中指定日志输出文件 “tee kubeadm-init.log”),内容如下所示:

          

       红色部分给出的命令即是把其他节点加入进来的命令,将其复制并在node节点执行该命令。出现以下告警无影响。

          

      执行后,在Master中重新查看node,此时Node已经加入集群中,但是有的还是NotReady状态,这是因为Node在初始化,这个得等一段时间。

          

       更详细查看命令,可以看见初始化节点所属节点:

    kubectl get pod -n kube-system -o wide

      到此,整个K8S集群搭建完成~~~~~

    ------------------------------------------------------------------
    -----------------------------------------------------------
    ---------------------------------------------
    朦胧的夜 留笔~~
  • 相关阅读:
    容斥原理学习(Hdu 4135,Hdu 1796)
    ACdream 1112
    CodeChef--Cards, bags and coins
    ACdream 1108(莫队)
    Hdu 2586(LCA)
    CodeChef--EQUAKE
    Hackerrank--Mixing proteins(Math)
    Clash Credenz 2014 Wild Card Round题解
    Codeforces 463D
    CodeChef August Lunchtime 2014 题解
  • 原文地址:https://www.cnblogs.com/liconglong/p/15054289.html
Copyright © 2020-2023  润新知