一、K8S-harbor安装步骤
1、创建centos7虚拟机;
2、安装centos7系统;
3、设置系统IP、网关、DNS等;
BOOTPROTO=none IPADDR=192.168.66.100 PREFIX=24 GATEWAY=192.168.66.1 DNS1=192.168.66.1
4、xshell连接K8S-harbor主机,进行集群部署。
hostnamectl set-hostname k8s-harbor echo ' 192.168.66.10 K8S-harbor01 192.168.66.20 k8s-node01 192.168.66.21 k8s-node02 192.168.66.100 hub.atguigu.com ' >>/etc/hosts hostname;cat /etc/hosts yum -y install conntrack-tools ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim-enhanced net-tools git yum list conntrack-tools ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim-enhanced net-tools git ##设置防火墙为iptables并设置空规则 systemctl stop firewalld && systemctl disable firewalld;yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save systemctl status firewalld;systemctl status iptables ##关闭selinux setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled' /etc/selinux/config getenforce;grep -Ev '^#|^$' /etc/selinux/config ##关闭虚拟内存,目的:使用kubeadm安装K8S集群时会检测swap是否关闭;如果虚拟内存开启,pod就可能会放在虚拟内存中运行,会大大降低工作效率;生产环境中,K8S集群也要求关闭虚拟内存。 swapoff -a && sed -i '/ swap /s/^(.*)$/#1/g' /etc/fstab #/ swap /^(.*)$表示匹配到swap这行的首尾为任何字符的所有内容。#1表示在该行的第一个1位置添加#; ##调整内核参数,除前3条外其他为优化项。 cat > /etc/sysctl.d/kubernetes.conf <<eof net.bridge.bridge-nf-call-iptables=1 #前2条为开启网桥模式,必做,否则安装K8S会报错。 net.bridge.bridge-nf-call-ip6tables=1 #前2条为开启网桥模式,必做,否则安装K8S会报错。 net.ipv6.conf.all.disable_ipv6=1 #关闭IPv6,必做,否则安装K8S会报错。 net.ipv4.ip_forward=1 net.ipv4.tcp_tw_recycle=0 vm.swappiness=0 #禁止使用swap空间,只有当系统OOM时才允许使用它; vm.overcommit_memory=1 #不检查物理内存是否够用; vm.panic_on_oom=0 #开启OOM; fs.inotify.max_user_instances=8192 fs.inotify.max_user_watches=1048576 fs.file-max=52706963 fs.nr_open=52706963 net.netfilter.nf_conntrack_max=2310720 eof modprobe br_netfilter;ls /proc/sys/net/bridge #加载模块,使得/proc/sys/net/bridge/bridge-nf-call-iptables、/proc/sys/net/bridge/bridge-nf-call-ip6tables文件存在: sysctl -p /etc/sysctl.d/kubernetes.conf ##设置系统时区 timedatectl set-timezone Asia/Shanghai timedatectl set-local-rtc 0 #将当前UTC时间写入硬件时钟; ##重启依赖时间的服务 systemctl restart rsyslog systemctl restart crond ##关闭系统不需要的服务 systemctl stop postfix && systemctl disable postfix systemctl status postfix ##设置系统日志;centos7默认使用rsyslogd,但建议使用systemd journald; mkdir /var/log/journal mkdir /etc/systemd/journald.conf.d cat > /etc/systemd/journald.conf.d/99-prophet.conf <<eof [Journal] #持久化保存到磁盘 Storage=persistent #压缩历史日志 Compress=yes SyncIntervalSec=5m RateLimitInterval=30s RateLimitBurst=1000 #最大占用空间10G SystemMaxUse=10G #单日志文件最大200M SystemMaxFileSize=200M #日志保存时间2周 MaxRetentionSec=2week #不将日志转发到syslog,减轻系统压力 ForwardToSyslog=no eof # systemctl status rsyslog.service systemctl restart systemd-journald.service ##升级系统内核为4.44;centos7.x系统自带的3.10.x内核存在一些bugs,导致运行的docker、ks运行不稳定。 # rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org #导入公钥; # yum -y install https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm #安装内核的repo源; rpm -Uvh http://mirror.rackspace.com/elrepo/elrepo/el7/x86_64/RPMS/elrepo-release-7.0-4.el7.elrepo.noarch.rpm #安装内核4.X版本的repo源; # yum list available | grep kernel-lt #查看可以使用的内核版本;默认只有最新版本; # yum list --showduplicates kernel #查看可以使用的内核版本;默认只有最新版本; yum --enablerepo=elrepo-kernel install -y kernel-lt #默认安装最新版内核(kernel-lt-5.4.123-1.el7.elrepo.x86_64);#若需安装4.44的lt版本,需指定内核参数;但repo源没有;如何安装4.4.189-1.el7.elrepo.x86_64??? grub2-set-default 'CentOs Linux(kernel-lt-5.4.123-1.el7.elrepo.x86_64) 7 (Core)' #设置开机从新内核启动; reboot #重启后使内核生效; uname -a #查看内核是否生效; # yum -y update #更新全部软件版本;不做会引起K8S集群不稳定工作。更新引起冲突??如何解决??? # yum -y update --skip-broken #可不升级 # grub2-set-default 'CentOs Linux(kernel-lt-5.4.123-1.el7.elrepo.x86_64) 7 (Core)' #更新后必须再次设置开机从新内核启动; # reboot #重启后使内核生效; # uname -a #查看内核是否生效; ##kube-proxy开启ipvs的前置条件;kube-proxy主要解决SVC与POD之间的调度关系,LVS可以提高其工作效率,故应开启ipvs变更为LVS调度方式。 modprobe br_netfilter lsmod |grep br_netfilter cat > /etc/sysconfig/modules/ipvs.modules <<eof #!/bin/bash modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack_ipv4 #无法加载模块???有什么影响么??? eof chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod |grep -e ip_vs -e nf_conntrack_ipv4 ##安装docker软件 yum -y install yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum -y install docker-ce yum list docker-ce mkdir /etc/docker ##native.cgroupdriver=systemd表示交由systemd进行cgroup执行隔离;日志修改为json-file存储类型,大小为100M; cat > /etc/docker/daemon.json <<eof { "exec-opts":["native.cgroupdriver=systemd"], "log-driver":"json-file", "log-opts":{ "max-size":"100m" } } eof mkdir -p /etc/systemd/system/docker.service.d systemctl daemon-reload && systemctl start docker && systemctl enable docker systemctl status docker ###设置私有仓库域名没有购买的证书,故应设置insecure-registries表示该仓库是安全的。 vi /etc/docker/daemon.json ~~~~~~~~~ { "exec-opts":["native.cgroupdriver=systemd"], "log-driver":"json-file", "log-opts":{ "max-size":"100m" }, "insecure-registries": ["https://hub.atguigu.com"] } ~~~~~~~~~ systemctl restart docker ## ~~~~上传docker-compose组件 mv docker-compose /usr/local/bin/ chmod a+x /usr/local/bin/docker-compose ~~~~上传harbor-offline-installer-v1.2.0.tgz tar -xzvf harbor-offline-installer-v1.2.0.tgz mv harbor /usr/local/ #该文件很重要,应迁移到安全目录防止被误删除; cd /usr/local/harbor/ vi harbor.cfg ~~~~~~ hostname = hub.atguigu.com ui_url_protocol = https ... ~~~~~~ mkdir -p /data/cert/ #按照配置文件创建证书目录; cd /data/cert/ openssl genrsa -des3 -out server.key 2048 #生成密钥,密码为root123;openssl生成证书:Key是私用秘钥, openssl req -new -key server.key -out server.csr #生成证书;Csr是证书请求文件,用于申请证书。在制作csr文件时,必须使用自己的私钥来签署申,还可以设定一个密钥。国家名CN,省市CQ,组织atguigu,全名hub.atguigu.com,邮箱自定,是否需要修改密码--不修改直接enter即可。 #crt是CA认证后的证书文,签署人用自己的key给你签署凭证。 cp server.key{,.bak} #备份私钥,防止丢失; openssl rsa -in server.key.bak -out server.key #docker一般采用nginx作为前端,如果证书及密钥中有密码的话,就会出现引导不成功的问题;因此需将server.key中的密码去掉。输入密码root123进行操作。 openssl x509 -req -days 365 -in server.csr -signkey server.key -out server.crt #生成的server.crt文件;crt是CA认证后的证书文,签署人用自己的key给你签署凭证。 chmod a+x server.crt #修改证书权限; cd /usr/local/harbor/ ./install.sh #安装harbor; docker ps -a #查看启动进程; docker login https://hub.atguigu.com #本地测试harbor是否能正常工作,默认账户admin,密码Harbor12345;
二、harbor使用
1、以administrator对宿主机C:WindowsSystem32driversetchosts追加 192.168.66.100 hub.atguigu.com;
2、浏览器https://hub.atguigu.com,默认账户admin,密码Harbor12345;密码可在服务器的harbor.cfg中修改;
3、项目---》项目名称library---》镜像仓库---》推送镜像,其提示为:
在项目中标记镜像:docker tag SOURCE_IMAGE[:TAG] hub.atguigu.com/library/IMAGE[:TAG]
推送镜像到当前项目:docker push hub.atguigu.com/library/IMAGE[:TAG]
4、在测试节点(master或node)拉取、标记、推送镜像至harbor;
docker pull alpine docker images #镜像名称为:alpine:latest docker tag alpine:latest hub.atguigu.com/library/alpine:latest docker push hub.atguigu.com/library/alpine:latest docker pull nginx docker tag nginx:latest hub.atguigu.com/library/nginx:latest docker push hub.atguigu.com/library/nginx:latest
5、刷新浏览器,查看镜像是否推送至harbor;
6、更换一个测试节点测试是否能拉取镜像;