Linux：搭建GlusterFS文件系统

GlusterFS简介

官网地址：https://www.gluster.org

GlusterFS 是近年兴起的一个高性能开源分布式文件系统，其目标是全局命名空间、分布式前端的高性能文件系统，目前已被 RedHat 看中，GlusterFS 具有高扩展、高可性、高性能、可横向扩展等特点，并且 GlusterFS 没有元数据服务器的设计，使其没有单点故障问题。

重要概念

下面是关于GlusterFS的一些重要概念：

• birck：最基本的存储单元，表示为trusted storage pool中输出的目录，供客户端挂载用。
• volume：一个卷。在逻辑上由N个bricks组成。
• metadata：元数据，用于描述文件、目录等的信息；
• self-heal：用于后台运行检测副本卷中文件和目录的不一致性并解决这些不一致；
• FUSE：Unix-like OS上的可动态加载的模块，允许用户不用修改内核即可创建自己的文件系统。
• Gluster Server：数据存储服务器，即组成GlusterFS存储集群的节点；
• Gluster Client：使用GlusterFS存储服务的服务器，如KVM、OpenStack、LB RealServer、HA node。
• POSIX: 一个标准，GlusterFS兼容。

总体架构

GlusterFS 的卷类型

为了满足不同应用对高性能、高可用的需求，GlusterFS 支持多种卷，详细信息可见官方文档：https://docs.gluster.org/en/latest/Administrator-Guide/Setting-Up-Volumes/#creating-dispersed-volumes。

下面简单介绍几种。

distribute volume分布式卷(类似raid 0但是数据不分片)默认

基于Hash算法将文件分布到所有的brick server上,只是单纯的扩大了磁盘空间,不具备冗余能力,数据丢了就丢了,由于distribute volume使用本地文件系统,因此存取效率并没有提高,相反会应为中间又加上了一层网络传输,效率反而降低了.另外本地存储设备的容量有限制,因此支持超大型文件会有一定的难度。

Replicated Volumes 复制卷(类似Raid 1)

类似于Raid1,文件同步的复制到多个brick上,具有容错能力,写性能下降,读性能提升(待测),Replicated模式,也称作AFR(Auto File Replicated),同一个文件在多个镜像存储节点上保存多份,每个节点上都具有相应的目录结构和文件。replica volume是容器存储中较为推崇的一种。

Distributed Replicated Volumes分布式复制卷

Brick server是镜像数的倍数,先组合分布式在组合成复制卷,也是最少需要4台服务器,这个多少组成分布和多少个副本数是自己创建的时候定义的。

GlusterFS客户端常用命令

命令	功能
gluster peer probe	添加节点
gluster peer detach	移除节点
gluster volume create	创建卷
gluster volume start $VOLUME_NAME	启动卷
gluster volume stop $VOLUME_NAME	停止卷
gluster volume delete $VOlUME_NAME	删除卷
gluster volume quota enable	开启卷配额
gluster volume quota disable	关闭卷配额
gluster volume quota limitusage	设定卷配额

搭建

本文使用复制卷作为存储卷。如需要其他存储卷类型，请参考官方文档！！

环境准备

我这里准备三台Centos7服务器。

ip	hostname	作用
192.168.1.100	node-100	Server
192.168.1.101	node-101	Server
192.168.1.102	node-102	Client

关闭防火墙(三台服务器都要执行)：

systemctl stop firewalld
systemctl disable firewalld

设置主机名：

hostnamectl set-hostname node-100  #192.168.1.100主机执行
hostnamectl set-hostname node-101  #192.168.1.101主机执行
hostnamectl set-hostname node-102  #192.168.1.102主机执行

配置/etc/hosts:

vi /etc/hosts

#文件末尾添加如下内容
192.168.1.100 node-100
192.168.1.101 node-101
192.168.1.102 node-102

保存退出后，确保三台服务器互相ping hostname，都能ping通。

Gluster Server端搭建

node-100和node-101服务器执行：

#软件安装
yum -y install centos-release-gluster
yum -y install glusterfs glusterfs-server glusterfs-fuse

server端启动gluster服务：

systemctl start glusterd
systemctl enable glusterd
systemctl enable glusterd

创建集群：

我这里在node-100上执行，把node-101添加到集群中：

gluster peer probe node-101

这里如果报错：peer probe: failed: Probe returned with Transport endpoint is not connected

检查防火墙有没有关；能不能ping通hostname

如果想从集群中去除节点，可以执行如下命令，但该节点中不能存在卷中正在使用的brick。

gluster peer detach 节点名称

查看集群状态：

gluster peer status

创建复制卷，命令格式如下：

gluster volume create volume_name replica 2 node1:/data/br1 node2:/data/br1

• volumn_name：卷名
• node1：节点名
• replica：文件保存的份数
• /data/br1：可以理解为节点上的目录，这个目录最好是一个单独的分区(分区类型最好为逻辑卷的方式，这样易于操作系统级别的存储空间扩展)，默认不能使用root分区进行创建卷，如需要root分区创建卷添加force参数

作为示例，我这里使用/opt/brick目录做为单独分区的挂载目录。

#两台服务器执行
mkdir -p /opt/brick

创建2副本的复制卷：

gluster volume create app-data replica 2 node-100:/opt/brick node-101:/opt/brick force

列出卷:

gluster volume list

启动这个卷:

gluster volume start app-data

查看卷信息:

gluster volume info app-data

打开GlusterFs磁盘限额，此处限制大小是10G，也可以不用设置：

gluster volume quota app-data enable
gluster volume quota app-data limit-usage / 10GB

查看这个卷的状态：

gluster volume status

Gluster Client端搭建

Glusterfs client端有三种客户端使用方式：Native mount，NFS，Samba

此处使用Native mount挂载gluster volume到node-100和node-101节点的本地目录/gfs-share下：

node-102服务器执行：

yum install glusterfs glusterfs-fuse attr -y
mkdir -p /gfs-share
mount -t glusterfs node-100:app-data /gfs-share

查看挂载情况：

df -h

设置开机自动挂载：

vi /etc/fstab

#增加如下内容
node-100:/app-data  /gfs-share glusterfs  defaults 0 0

测试

Gluster Client端执行：

cd /gfs-share
touch file{1..9}.txt

创建了9个文件：

去服务端查看：

ll /opt/brick/

有几点说明

• 服务端也可以将本地目录挂载到gluster的存储卷上。
• 不能直接对birck修改，client端不会生效
• 任意client端修改，其他client端和brick会自动修改