Ceph 文件系统（四）

一、文件存储系统介绍

Ceph文件系统提供了任何大小的符合posix标准的分布式文件系统，它使用Ceph RADOS存储数据。要实现Ceph文件系统，您需要一个正在运行的Ceph存储集群和至少一个Ceph元数据服务器(MDS)来管理其元数据并使其与数据分离，这有助于降低复杂性和提高可靠性。下图描述了Ceph FS的架构视图及其接口：

 libcephfs库在支持其多个客户机实现方面发挥着重要作用。它具有本机Linux内核驱动程序支持，因此客户机可以使用本机文件系统安装，例如，使用mount命令。它与SAMBA紧密集成，支持CIFS和SMB。 Ceph FS使用cephfuse模块扩展到用户空间(FUSE)中的文件系统。它还允许使用libcephfs库与RADOS集群进行直接的应用程序交互。作为Hadoop HDFS的替代品， Ceph FS越来越受欢迎。

只有Ceph FS才需要Ceph MDS;其他存储方法的块和基于对象的存储不需要MDS服务。 Ceph MDS作为一个守护进程运行，它允许客户机挂载任意大小的POSIX文件系统。 MDS不直接向客户端提供任何数据;数据服务仅由OSD完成。MDS提供了一个带有智能缓存层的共享连贯文件系统，因此大大减少了读写操作。它将其优势扩展到动态子树分区，并为单个元数据提供单个MDS。

MDS不存储本地数据，这在某些情况下非常有用。如果MDS守护程序死亡，我们可以在任何具有群集访问权限的系统上重新启动它。Metadata Server的守护程序配置为主动或被动。主MDS节点变为活动状态，其余节点将进入待机状态。在主MDS发生故障的情况下，第二个节点负责并被提升为活动状态。为了更快地恢复，您可以指定备用节点应该跟随其中一个活动节点，这将在内存中保留相同的数据以预先填充缓存。

客户端我们一般有两种方式，一种是 Linux 内核提供的，一种是 FUSE 客户端，内核客户端性能会好一些，而 FUSE 客户端功能会强大些，比如强制配额。

二、部署cephfs

2.1 在ceph01节点使用 ceph-deploy 部署 cephfs

必须至少部署一个元数据服务器守护程序才能使用CephFS。

[cephadmin@ceph01 ~]$ cd my-cluster/
[cephadmin@ceph01 my-cluster]$ ceph-deploy mds create ceph01 ceph02 ceph03

2.2 创建ceph存储池

Ceph文件系统至少需要两个RADOS池，一个用于数据，一个用于元数据。在配置这些池时，可以考虑：

• 为元数据池使用更高的复制级别，因为这个池中的任何数据丢失都可能使整个文件系统无法访问。
• 为元数据池使用低延迟存储(如ssd)，因为这将直接影响客户机上文件系统操作的观察延迟。

[cephadmin@ceph01 my-cluster]$ ceph osd pool create cephfs_data 128
[cephadmin@ceph01 my-cluster]$ ceph osd pool create cephfs_metadata 128

# 启用文件系统
[cephadmin@ceph01 my-cluster]$ ceph fs new cephfs cephfs_metadata cephfs_data

 查看文件系统

[cephadmin@ceph01 my-cluster]$ ceph mds stat
cephfs-1/1/1 up  {0=ceph03=up:active}, 2 up:standby

[cephadmin@ceph01 my-cluster]$ ceph osd pool ls
…………
cephfs_data
cephfs_metadata

[cephadmin@ceph01 my-cluster]$ ceph fs ls
name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]

2.3 创建用户(可选，因为部署时，已经生成，我们最好再创建一个普通用户)

[cephadmin@ceph01 my-cluster]$ ceph auth get-or-create client.cephfs mon 'allow r' mds 'allow r, allow rw path=/' osd 'allow rw pool=cephfs_data' -o ceph.client.cephfs.keyring

2.4 查看生成的key

[cephadmin@ceph01 my-cluster]$ cat ceph.client.cephfs.keyring 
[client.cephfs]
        key = AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==

[cephadmin@ceph01 my-cluster]$ ceph auth get-key client.cephfs
AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==

三、通过内核驱动挂载Ceph FS

在Linux内核2.6.34和以后的版本中添加了对Ceph的支持。

3.1 在客户端创建挂载目录

[root@192-168-5-70 ~]# mkdir /mnt/cephfs

3.2 在客户端进行挂载（方法1）：

# secret为上面生成的key
[root@192-168-5-70 ~]# mount -t ceph 192.168.5.91:/ /mnt/cephfs -o name=cephfs,secret=AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==
[root@192-168-5-70 ~]# df -h /mnt/cephfs/
Filesystem      Size  Used Avail Use% Mounted on
192.168.5.91:/  8.4G     0  8.4G   0% /mnt/cephfs
[root@192-168-5-70 ~]# umount /mnt/cephfs

# 使用多个mon进行挂载
[root@192-168-5-70 ~]# mount -t ceph 192.168.5.91,192.168.5.92,192.168.5.93:/ /mnt/cephfs -o name=cephfs,secret=AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==
[root@192-168-5-70 ~]# df -h /mnt/cephfs/
Filesystem                                Size  Used Avail Use% Mounted on
192.168.5.91,192.168.5.92,192.168.5.93:/  8.4G     0  8.4G   0% /mnt/cephfs

3.3 在客户端不显示key挂载（方法2）：

[root@192-168-5-70 ~]# umount /mnt/cephfs
[root@192-168-5-70 ~]# mkdir /etc/ceph
[root@192-168-5-70 ~]# echo 'AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==' > /etc/ceph/cephfskey 

# 把key使用文件的方式进行挂载，端口默认为6789可以省略不写
[root@192-168-5-70 ~]# mount -t ceph 192.168.5.91:6789:/ /mnt/cephfs -o name=cephfs,secretfile=/etc/ceph/cephfskey
[root@192-168-5-70 ~]# df -h /mnt/cephfs/
Filesystem           Size  Used Avail Use% Mounted on
192.168.5.91:6789:/  8.4G     0  8.4G   0% /mnt/cephfs

3.4 设置开机自动进行挂载

[root@192-168-5-70 ~]# echo '192.168.5.91:6789:/ /mnt/cephfs ceph name=cephfs,secretfile=/etc/ceph/cephfskey,_netdev,noatime 0 0' >> /etc/fstab 

# 测试写入数据
[root@192-168-5-70 ~]# umount /mnt/cephfs
[root@192-168-5-70 ~]# mount /mnt/cephfs
[root@192-168-5-70 ~]# dd if=/dev/zero of=/mnt/cephfs/file1 bs=1M count=1024

四、通过 FUSE 挂载 Ceph FS

Ceph文件系统由LINUX内核本地支持;但是，如果您的主机在较低的内核版本上运行，或者您有任何应用程序依赖项，您总是可以使用FUSE客户端让Ceph挂载Ceph FS。

4.1 安装ceph-fuse

[root@192-168-5-70 ~]# cat /etc/yum.repos.d/ceph.repo 
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-mimic/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-mimic/el7/noarch/
gpgcheck=0
[root@192-168-5-70 ~]# yum install ceph-fuse -y

4.2 把服务端生成的key文件拷贝到客户端

[cephadmin@ceph01 ~]$ scp my-cluster/ceph.client.cephfs.keyring root@192.168.5.70:/etc/ceph/

4.3 ceph-fuse进行挂载

# 先取消之前的挂载
[root@192-168-5-70 ~]# umount /mnt/cephfs
[root@192-168-5-70 ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda1        50G  2.2G   48G   5% /
devtmpfs        3.9G     0  3.9G   0% /dev
tmpfs           3.9G     0  3.9G   0% /dev/shm
tmpfs           3.9G   17M  3.9G   1% /run
tmpfs           3.9G     0  3.9G   0% /sys/fs/cgroup
/dev/rbd0       4.0G  233M  3.8G   6% /mnt/ceph-disk1
/dev/rbd2       2.0G   33M  2.0G   2% /mnt/ceph-disk2
tmpfs           799M     0  799M   0% /run/user/0

# 进行挂载
[root@192-168-5-70 ~]# ceph-fuse --keyring /etc/ceph/ceph.client.cephfs.keyring --name client.cephfs -m 192.168.5.91:6789 /mnt/cephfs/ 
2020-02-14 16:38:42.460 7f0bed64fc00 -1 init, newargv = 0x55a6a780bd40 newargc=7ceph-fuse[388766]: starting ceph client

ceph-fuse[388766]: starting fuse
[root@192-168-5-70 ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda1        50G  2.2G   48G   5% /
devtmpfs        3.9G     0  3.9G   0% /dev
tmpfs           3.9G     0  3.9G   0% /dev/shm
tmpfs           3.9G   17M  3.9G   1% /run
tmpfs           3.9G     0  3.9G   0% /sys/fs/cgroup
/dev/rbd0       4.0G  233M  3.8G   6% /mnt/ceph-disk1
/dev/rbd2       2.0G   33M  2.0G   2% /mnt/ceph-disk2
tmpfs           799M     0  799M   0% /run/user/0
ceph-fuse       8.3G  1.0G  7.3G  13% /mnt/cephfs

4.4 设置开机自动挂载

[root@192-168-5-70 ~]# vim /etc/ceph/ceph.conf 
[global]
mon_host = 192.168.5.91,192.168.5.92,192.168.5.93

[root@192-168-5-70 ~]# vim /etc/fstab 
none /mnt/cephfs fuse.ceph ceph.id=cephfs,_netdev,defaults 0 0

五、Ceph配额管理

CephFS允许在系统中的任何目录上设置配额。配额可以限制 目录层次结构中该点下面的字节数或文件数。

5.1 限制

• CephFS配额 依赖 于正在挂载文件系统的 客户端 的合作，以在达到限制时停止写入，不应依赖配额来防止在客户端完全不受信任的环境中写入。
• 配额是不精确的。写入文件系统的进程将在达到配额限制后的短时间内停止。它们将不可避免地被允许在配置的限制上写入一些数据。他们能够走多远的配额主要 取决于时间量 ，而不是数据量。一般来说，编写者将在超过配置限制的十秒内停止 。
• 配额在 内核客户端4.17 及更高版本中实现。 用户空间客户端（libcephfs，ceph-fuse）支持配额。Linux内核客户端> = 4.17支持CephFS配额，但仅限于 mimic+ 集群 。内核客户端（甚至是最新版本）将无法处理旧群集上的配额，即使它们可能能够设置配额扩展属性。

5.2 先拷贝管理员权限的key

[cephadmin@ceph01 ~]$ scp my-cluster/ceph.client.admin.keyring root@192.168.5.70:/etc/ceph/

5.3 重新进行客户端挂载

[root@192-168-5-70 ~]# ceph-fuse --keyring /etc/ceph/ceph.client.admin.keyring --name client.admin -m 192.168.5.91:6789 /mnt/cephfs/

5.4 设置配额文件最大容量100MB，文件数量不大于3

[root@192-168-5-70 ~]# yum install attr -y
[root@192-168-5-70 ~]# cd /mnt/cephfs/
[root@192-168-5-70 cephfs]# mkdir quotadir
[root@192-168-5-70 cephfs]# setfattr -n ceph.quota.max_bytes -v 100000000 quotadir
[root@192-168-5-70 cephfs]# setfattr -n ceph.quota.max_files -v 3 quotadir

5.5 显示配额

[root@192-168-5-70 cephfs]# getfattr -n ceph.quota.max_bytes quotadir
# file: quotadir
ceph.quota.max_bytes="100000000"

[root@192-168-5-70 cephfs]# getfattr -n ceph.quota.max_files quotadir    
# file: quotadir
ceph.quota.max_files="3"