共享存储层-分布式存储-glusterfs-安装部署

理论：

分布式文件系统：

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。

自然地，“分布式”是重点，它是相对与本地文件系统而言的。分布式文件系统通常指C/S架构或网络文件系统，用户数据没有直接连接到本地主机，而是存储在远程存储服务器上。NFS/CIFS是最为常见的分布式文件系统，这就是我们说的NAS系统。分布式文件系统中，存储服务器的节点数可能是1个(如传统NAS)，也可以有多个(如集群NAS)。对于单个节点的分布式文件系统来说，存在单点故障和性能瓶颈问题。除了NAS以外，典型的分布式文件系统还有AFS，以及下面的集群文件系统(如Lustre, GlusterFS, PVFS2等)。

集群系统区别：

集群”主要分为高性能集群HPC(High Performance Cluster)、高可用集群HAC(High Availablity Cluster)和负载均衡集群LBC(Load Balancing Cluster)。
集群文件系统是指协同多个节点提供高性能、高可用或负载均衡的文件系统，它是分布式文件系统的一个子集，消除了单点故障和性能瓶问题。对于客户端来说集群是透明的，
它看到是一个单一的全局命名空间，用户文件访问请求被分散到所有集群上进行处理。此外，可扩展性(包括Scale-Up和Scale-Out)、可靠性、易管理等也是集群文件系统追求的目标。

glusterfs安装：

安装repo源

wget https://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/CentOS/glusterfs-epel.repo

yum安装

 yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

机器准备，话不多说，均按照上述步骤安装glusterfs

四台虚拟机
[root@storage03 strick2]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.142.148 mystorage1
192.168.142.150 mystorage2
192.168.142.151 mystorage3
192.168.142.152 mystorage4

每台机器添加两块硬盘，用作数据盘

Linux下扫描scsi总线
echo "- - -" > /sys/class/scsi_host/host0/scan　

 格式化硬盘并挂载

mkfs.xfs /dev/sdb
mkfs.xfs /dev/sdc
#新建文件夹步骤略
mount /dev/sdb  /storage/brick1/
mount /dev/sdc  /storage/brick2/
#写入开机启动

[root@mystorage1 ~]# tail -n 2 /etc/fstab 
/dev/sdb /storage/brick1 xfs defaults 0 0
/dev/sdc /storage/brick2 xfs defaults 0 0

节点操作

#查看节点状态
[root@storage03 strick2]# gluster peer status
Number of Peers: 3

Hostname: mystorage1
Uuid: 85e9f14e-5e4f-4d37-acc0-f1db27ffd40c
State: Peer in Cluster (Connected)

Hostname: mystorage4
Uuid: 85627ca6-0039-4494-8c7e-26fd103cfb0c
State: Peer in Cluster (Connected)

Hostname: mystorage2
Uuid: 7232833b-c4b8-429a-aa9b-498f48ed11fe
State: Peer in Cluster (Connected)
You have new mail in /var/spool/mail/root

#删除节点
[root@storage03 strick2]# gluster peer detach mystorage1
peer detach: success

#添加节点
[root@storage03 strick2]# gluster peer probe  mystorage1
peer probe: success. 

#拷贝虚拟机，添加peer节点时，报错
[root@mystorage01 ~]# gluster peer probe mystorage4
peer probe: failed: Peer uuid (host mystorage4) is same as local uuid

#解决办法：
[root@mystorage01 ~]# gluster system uuid reset
Resetting uuid changes the uuid of local glusterd. Do you want to continue? (y/n) y
trusted storage pool has been already formed. Please detach this peer from the pool and reset its uuid.