GlusterFS高可用安装
一. 准备工作
- 安装好的k8s集群,提供其中三个节点给GFS,这三个节点都至少有一个可用的裸块设备
- 在k8s所有节点安装所需要的组件
# ubuntu16.04
add-apt-repository ppa:gluster/glusterfs-7
apt-get update
apt-get install glusterfs-client -d
modprobe dm_thin_pool
# centos
yum -y install centos-release-gluster
yum -y install glusterfs-client
modprobe dm_thin_pool
- 在GlusterFS节点划分分区
# 查看可用磁盘
fdisk -l
# 分区并格式化
mkfs.xfs /dev/vdb1
mkdir -p /data
echo "/dev/vdb1 /data xfs defaults 1 2" >>/etc/fstab
# 挂载
mount -a
# 确定/data挂载
df -h | grep data
二. 部署GlusterFS
以下操作在k8s的任一master节点执行
- 获取对应项目
git clone https://gitee.com/liu_shuai2573/gfs-k8s.git && cd gfs-k8s
- 设置标签使该节点只运行GFS
#设置标签,调度glusterfs的pod至指定节点
kubectl label node 10.10.10.71 10.10.10.72 10.10.10.73 storagenode=glusterfs
#设置taint策略,使该节点只运行glusterfs,如需复用glusterfs节点请忽略该操作
kubectl taint node 10.10.10.71 10.10.10.72 10.10.10.73 glusterfs=true:NoSchedule
#设置taint策略,使该节点只运行rbd-gateway,如需复用rbd-gateway节点请忽略该操作
kubectl taint node 10.10.10.86 10.10.10.87 rbd-gateway=true:NoSchedule
- 运行GFS的相关控制器
kubectl create -f gluster-daemonset.yaml
- 检查是否在指定节点正常运行
kubectl get pods -o wide --selector=glusterfs-node=daemonset
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
glusterfs-2k5rm 1/1 Running 0 52m 192.168.2.200 192.168.2.200 <none> <none>
glusterfs-mc6pg 1/1 Running 0 134m 192.168.2.22 192.168.2.22 <none> <none>
glusterfs-tgsn7 1/1 Running 0 134m 192.168.2.224 192.168.2.224 <none> <none>
- 为GFS集群添加节点
kubectl exec -ti glusterfs-2k5rm gluster peer probe 192.168.2.22
kubectl exec -ti glusterfs-2k5rm gluster peer probe 192.168.2.224
# 检测是否添加成功
kubectl exec -ti glusterfs-2k5rm gluster peer status
- 创建服务账户并进行RBAC授权
kubectl create -f rbac.yaml
三. 配置Kubernetes使用GlusterFS
- 创建provisioner资源
kubectl create -f deployment.yaml
-
创建storageclass资源
修改
storageclass.yaml
文件中的parameters.brickrootPaths
字段对应的值,将gfs的pod IP替换掉
kubectl create -f storageclass.yaml
- 创建pvc验证
创建成功时STATUS为Bound
kubectl create -f pvc.yaml
kubectl get pvc | grep gluster-simple-claim
- 创建pod验证
运行正常时STATUS为Running
kubectl create -f pod.yaml
kubectl get po | grep gluster-simple-pod