Ceph 独一无二地用统一的系统提供了对象、块、和文件存储功能，它可靠性高、管理简便、并且是自由软件。 Ceph 的强大足以改变公司的 IT 基础架构、和管理海量数据。 Ceph 可提供极大的伸缩性——供成千用户访问 PB 乃至 EB 级的数据。 Ceph 节点以普通硬件和智能守护进程作为支撑点， Ceph 存储集群组织起了大量节点，它们之间靠相互通讯来复制数据、并动态地重分布数据。
如图为应用场景示意图，其核心是RADOS，也即高可用、自动化的分布式对象存储，该模块负责对OSD的自动化运行，保证整个存储系统的可用性。同时，该模块通过一个名为librados的公共库对外提供存储服务，块存储和对象存储都依赖该动态库。
同时，Ceph本身封装了对象存储的接口和块存储的接口。对象存储的接口包括对象网关和对象存储访问库等。块存储接口包括块存储访问动态库、Python绑定库和内核态的虚拟块设备。
Ceph存储系统的逻辑层次结构如下图所示：
Ceph存储系统的组件
Ceph集群的核心组件是OSD和MON，其中OSD用于数据的具体存储操作，MON用于一些“映射图”，通过该“映射图”客户端可以计算出数据的存放位置，并将数据直接发送给相应的OSD处理。由于OSD和MON之间存在监控关系，并且通过相应的策略进行相关调度，保证自动故障处理和负载均衡等，因此将OSD、MON以及这些策略统称为RADOS。
为了便于对RADOS的管理和使用，在RADOS之上实现了一套动态库（librados），动态库通常位于客户端，通过网络与RADOS交互命令和数据。
Ceph天生就是对象存储，rados本身提供了一套以对象方式存储和访问Ceph集群数据的接口。而Ceph又同时提供了块存储和文件系统存储的功能，该功能基于Ceph的对象存储实现。
OSD
OSD的全称是Object Storage Device，OSD通常是一个物理的存储设备（例如磁盘），也可以是逻辑的存储设备（例如磁盘上的某个文件夹）。当然，这里的存储设备不限于服务器上的本地硬盘，也可以是通过iSCSI协议或者FC协议映射的LUN。 有时候提及的OSD实际上是OSD守护进程，视语境而定。
OSD守护进程
OSD守护进程是OSD的软件实现，OSD守护进程用来对OSD进行管理（数据读写等），客户端数据交互的对象是OSD守护进程。
MON
MON是Ceph集群的监控软件，一个守护进程，其中包含若干“映射图”信息。客户端向Ceph集群写数据前通常要向MON请求，获取最新的“映射图”，并通过其计算出数据的存放位置。
librados
librados是一个动态库程序，其提供了客户端访问Ceph集群的原生态统一接口。其它接口或者命令行工具都基于该动态库实现。
在librados中实现了Crush算法和网络通信等公共功能，数据请求操作在librados计算完成后可以直接与对应的OSD交互进行数据传输
CEPH 块设备
Ceph 块设备是精简配置的、大小可调且将数据条带化存储到集群内的多个 OSD 。 Ceph 块设备利用 RADOS 的多种能力，如快照、复制和一致性。 Ceph 的 RADOS 块设备（ RBD ）使用内核模块或 librbd 库与 OSD 交互。
ceph安装
配置ceph yum源
vim /etc/yum.repos.d/ceph.repo
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/
升级系统
yum update -y && yum install ceph-deploy -y
安装ntp
yum install -y ntp ntpdate ntp-doc
ntpdate 0.us.pool.ntp.org
hwclock –systohc
systemctl enable ntpd.service
systemctl start ntpd.service
vmware需要安装的组件
yum install -y open-vm-tools
创建用户
useradd -d /home/cephuser -m cephuser
passwd cephuser
用户权限
echo “cephuser ALL = (root) NOPASSWD:ALL” | sudo tee /etc/sudoers.d/cephuser
chmod 0440 /etc/sudoers.d/cephuser
sed -i s’/Defaults requiretty/#Defaults requiretty’/g /etc/sudoers
关闭selinux
sed -i ‘s/SELINUX=enforcing/SELINUX=disabled/g’ /etc/selinux/config
关闭防火墙
systemctl enable firewalld
firewall-cmd –set-default-zone=trusted
firewall-cmd –complete-reload
firewall-cmd –list-all
安装ceph(ceph节点)
yum -y install ceph
ceph –version
ceph version 10.2.9 (2ee413f77150c0f375ff6f10edd6c8f9c7d060d0)
格式化磁盘(ceph节点)
配置免密钥登陆
创建集群配置
修改集群配置文件
安装ceph组件
ceph-deploy install –no-adjust-repos ceph2
ceph-deploy install –no-adjust-repos ceph3
查看密钥
[cephuser@ceph1 cluster]$ ls
ceph.bootstrap-mds.keyring ceph.bootstrap-rgw.keyring ceph-deploy-ceph.log
ceph.bootstrap-mgr.keyring ceph.client.admin.keyring ceph.mon.keyring
ceph.bootstrap-osd.keyring ceph.conf
该命令将创建监视器键，使用’ceph’命令检查并获取密钥。
ceph-deploy gatherkeys ceph2
ceph-deploy gatherkeys ceph3
查看磁盘
准备OSD
激活OSD
查看OSD节点
查看磁盘分区情况
分发key
所有节点给admin key 授权
查看集群状态
Ceph存储空间查看
查看OSD状态
查看OSD dump
ceph rbd
client端配置
Ceph提供rbd命令来管理rados块设备图像。我们可以使用rbd命令创建新映像，调整大小，创建快照并导出我们的块设备。
创建一个大小为40GB的新的rbd映像，然后在rbd列表中检查’ disk01 ‘。
测试可用
到此ceph的RBD搭建完毕，ceph的RBD作为块设备像硬盘一样直接挂载，未来在容器平台会有很大的应用场景。