ceph安装部署
ceph简介
不管你是想为云平台提供Ceph 对象存储和/或 Ceph 块设备，还是想部署一个 Ceph 文件系统或者把 Ceph 作为他用，所有 Ceph 存储集群的部署都始于部署一个个 Ceph 节点、网络和 Ceph 存储集群。 Ceph 存储集群至少需要一个 Ceph Monitor 和两个 OSD 守护进程。而运行 Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ）。
- Ceph OSDs: Ceph OSD 守护进程（ Ceph OSD ）的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph 存储集群设定为有2个副本时，至少需要2个 OSD 守护进程，集群才能达到 active+clean 状态（ Ceph 默认有3个副本，但你可以调整副本数）。
- Monitors: Ceph Monitor维护着展示集群状态的各种图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。 Ceph 保存着发生在Monitors 、 OSD 和 PG上的每一次状态变更的历史信息（称为 epoch ）。
- MDSs: Ceph 元数据服务器（ MDS ）为 Ceph 文件系统存储元数据（也就是说，Ceph 块设备和 Ceph 对象存储不使用MDS ）。元数据服务器使得 POSIX 文件系统的用户们，可以在不对 Ceph 存储集群造成负担的前提下，执行诸如 ls、find 等基本命令
Ceph组件:osd
- OSD 守护进程,至少两个
- 用于存储数据、处理数据拷贝、恢复、回滚、均衡
- 通过心跳程序向monitor提供部分监控信息
- 一个ceph集群中至少需要两个OSD守护进程
Ceph组件：mon
- 维护集群的状态映射信息
- 包括monitor、OSD、placement Group(PG)
- 还维护了monitor、OSD和PG的状态改变历史信息
Ceph组件：mgr（新功能）
- 负责ceph集群管理，如pg map
- 对外提供集群性能指标（如cpeh -s 下IO信息）
- 具有web界面的监控系统（dashboard）
ceph逻辑结构
数据通过ceph的object存储到PG,PG在存储到osd daemon，osd对应disk
object只能对应一个pg
一个raid可以对应一个osd
一整块硬盘可以对应一个osd
一个分区可以对应一个osd
monitor：奇数个 osd : 几十到上万，osd越多性能越好
pg概念
- 副本数
- crush规则(pg怎么找到osd acting set)
- 用户及权限
- epoach：单调递增的版本号
- acting set: osd列表，第一个为primary osd，replicated osd
- up set :acting set过去的版本
- pg tmp:临时pg组
osd状态：默认每2秒汇报自己给mon(同时监控组内osd，如300秒没有给mon汇报状态，则会把这个osd踢出pg组)
- up 可以提供io
- down 挂掉了
- in 有数据
- out 没数据了
ceph应用场景：通过tgt支持iscsi挂载
- 公司内部文件共享
- 海量文件，大流量，高并发
- 需要高可用、高性能文件系统
- 传统单服务器及NAS共享难以满足需求，如存储容量，高可用
ceph生产环境推荐
- 存储集群采用全万兆网络
- 集群网络(不对外)与公共网络分离(使用不同网卡)
- mon、mds与osd分离部署在不同机器上
- journal推荐使用PCI SSD,一般企业级IOPS可达40万以上
- OSD使用SATA亦可
- 根据容量规划集群
- 至强E5 2620 V3或以上cpu,64GB或更高内存
- 最后，集群主机分散部署，避免机柜故障(电源、网络)
1. 准备好epel源
2. 准备好ceph源
3. 设置时间同步
4. 安装deploy
5. 分区为journal 的数据日志缓存做准备
...中间 各种deploy安装
直接创建了不用准备后激活
6. ceph-deploy osd create ceph-node0 --data /dev/sdd --journal /dev/sdb2
luminous 版本需要启动 mgr, 否则 ceph -s 会有 no active mgr 提示
官方文档建议在每个 monitor 上都启动一个 mgr
7. ceph-deploy mgr create ceph-node0:ceph-node0 ceph-node1:ceph-node1 ceph-node2:ceph-node2
ceph源
[Ceph]
name=Ceph packages for $basearch
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-luminous/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc
[Ceph-noarch]
name=Ceph noarch packages
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-luminous/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc
[ceph-source]
name=Ceph source packages
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-luminous/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc
链接https://www.cnblogs.com/zhangzihong/p/9771035.html
dashboard
https://www.cnblogs.com/gzxbkk/p/7755729.html