Ceph Hammer版(0.94.10)手动部署for CentOS 7.x
--lin.wang 20190310
环境有三个节点node-1,node-2,node-3，每个节点三个ssd盘作为osd
1、添加yum源ceph、base、epel
2、所有节点添加互信如：root用户，及hosts(/etc/hosts)列表
3、/etc/ssh/ssh_config中: # StrictHostKeyChecking ask 注释去掉值改成no
4、关闭firewalld、selinux，或者开放相应端口: mon 6789、osd 6800-8100
5、配置时钟同步ntp
6、每个节点安装ceph包,yum install ceph -y
mon部署,7-10在node-1执行
7、uuidgen生一个uuid,用作fsid
8、切换到/etc/ceph目录下，创建ceph.conf，编写配置文件，如下
[global]
fsid = 4f41a244-032c-4d85-b3ff-7cefb2d1ed16
mon_initial_members = node-1,node-2,node-3
mon_host = 192.168.122.94,192.168.122.95,192.168.122.96
public_network = 192.168.122.0/24
cluster_network = 192.168.201.0/24
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
osd_journal_size = 1024
filestore_xattr_use_omap = true
osd_pool_default_size = 3 # Write an object n times.
osd_pool_default_min_size = 1 # Allow writing n copy in a degraded state.
osd_pool_default_pg_num = 128
osd_pool_default_pgp_num = 128
osd_crush_chooseleaf_type = 1
9、
创建monitor的key用于多个monitor间通信，保存在/tmp/ceph.mon.keyring
ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
生成管理用户client.admin及其key，保存在/etc/ceph/ceph.client.admin.keyring
ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --set-uid=0 --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow'
#key文件命令规则:{cluster name}-{user-name}.keyring
添加client.admin的key到ceph.mon.keyring文件
ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
10、创建monitor map
#默认的monitor port是6789
monmaptool --create --add node-1 192.168.122.94 --add node-2 192.168.122.95 --add node-3 192.168.122.96 --fsid 4f41a244-032c-4d85-b3ff-7cefb2d1ed16 /tmp/monmap
monmaptool --print /tmp/monmap可以查看生成的monmap
ceph auth get mon. 可以获取monmap
可以停止mon服务后使用如下方法导出monmap
ceph-mon -i hostname --extract-monmap /tmp/monmap 从当前节点的/var/lib/ceph/mon/hostname 导出monmap
注入monmap
停止所有节点mon服务
ceph-mon -i mon-id --inject-monmap /tmp/monmap
启动mon服务
11、在每个mon节点上分别创建mon的目录
sudo mkdir /var/lib/ceph/mon/{cluster-name}-{hostname}
node-1> mkdir /var/lib/ceph/mon/ceph-node-1
node-2> mkdir /var/lib/ceph/mon/ceph-node-2
node-3> mkdir /var/lib/ceph/mon/ceph-node-3
12、初始化monitor
将node-1的
/tmp/monmoap、/tmp/ceph.mon.keyring、/etc/ceph/ceph.conf、/etc/ceph/ceph.client.admin.keyring
部署完毕后，/tmp下的这两个文件可以删除
复制到node-2和node-3的对应目录
ceph-mon [--cluster {cluster-name}] --mkfs -i {hostname} --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring
node-1> ceph-mon --mkfs -i node-1 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring
node-2> ceph-mon --mkfs -i node-2 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring
node-3> ceph-mon --mkfs -i node-3 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring
此时在每个节点/var/lib/ceph/mon/{cluster}-{hostname}目录下生成了store.db和keyring
13、 在每个节点的mon目录下，创建两个文件：
/var/lib/ceph/mon/{cluster}-{hostname}/{done,sysvinit}
node-1> touch /var/lib/ceph/mon/ceph-node-1/{done,sysvinit}
node-2> touch /var/lib/ceph/mon/ceph-node-2/{done,sysvinit}
node-3> touch /var/lib/ceph/mon/ceph-node-3/{done,sysvinit}
其中done文件表示monitor已经创建完成，可以启动使用了。
缺少sysvinit会报错。
老版本要求创建upstart已自动启动，当前版本创建后会起不来。
14、启动monitor服务: 每个mon节点，/etc/init.d/ceph start mon
15、开机自启动，chkconfig ceph on
osd部署
16、创建osd idceph osd create
本次有９个osd，因此创建9个即0-8: for i in $(seq 0 8) ;do ceph osd create;done
新版本支持指定osd id，当前版本不支持
创建完成后，可以通过ceph osd tree看到所有osd处于down和没有crush weight的状态
[root@ceph-1 ~]# ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 0 root default
0 0 osd.0 down 0 1.00000
1 0 osd.1 down 0 1.00000
2 0 osd.2 down 0 1.00000
3 0 osd.3 down 0 1.00000
4 0 osd.4 down 0 1.00000
5 0 osd.5 down 0 1.00000
6 0 osd.6 down 0 1.00000
7 0 osd.7 down 0 1.00000
8 0 osd.8 down 0 1.00000
17、在每个节点创建osd的目录,mkdir /var/lib/ceph/osd/{cluster-name}-{osd-number}
node-1> mkdir /var/lib/ceph/osd/ceph-{0..2}
node-2> mkdir /var/lib/ceph/osd/ceph-{3..5}
node-3> mkdir /var/lib/ceph/osd/ceph-{6..8}
18、将所有osd磁盘分区并挂载
parted -s /dev/vdb mklabel gpt mkpart primary 2048s 100%
mkfs.xfs /dev/vdb1
[root@ceph-1 osd]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos-root 7.1G 1.2G 6.0G 16% /
devtmpfs 2.0G 0 2.0G 0% /dev
tmpfs 2.0G 0 2.0G 0% /dev/shm
tmpfs 2.0G 8.5M 2.0G 1% /run
tmpfs 2.0G 0 2.0G 0% /sys/fs/cgroup
/dev/vda1 1014M 125M 890M 13% /boot
tmpfs 396M 0 396M 0% /run/user/0
/dev/vdb1 10G 33M 10G 1% /var/lib/ceph/osd/ceph-0
/dev/vdc1 10G 33M 10G 1% /var/lib/ceph/osd/ceph-1
/dev/vdd1 10G 33M 10G 1% /var/lib/ceph/osd/ceph-2
19、各osd节点初始化osd目录
ceph-osd -i {osd-num} --mkfs --mkkey --osd-uuid [{uuid}]
ceph-osd -i 0 --mkfs --mkkey
加
--mkkey选项运行ceph-osd之前，此目录必须是空的；另外，如果集群名字不是默认值，还要给ceph-osd指定--cluster选项。
20、注册osd的keyring.
ceph auth add osd.{osd-num} osd 'allow *' mon 'allow profile osd' -i /var/lib/ceph/osd/{cluster-name}-{osd-num}/keyring
ceph auth add osd.0 osd 'allow *' mon 'allow profile osd' -i /var/lib/ceph/osd/ceph-0/keyring
路径内
ceph-{osd-num}里的ceph其含义为$cluster-$id，如果你的集群名字不是ceph，请指定自己的集群名对于恢复已有的keyring,可以使用ceph auth import -i osd_path/keyring并auth caps赋权:ceph auth caps osd.0 osd 'allow *' mon 'allow profile osd'
21、将节点加入到crush map，并放置在default根root下。
ceph [--cluster {cluster-name}] osd crush add-bucket {hostname} host
ceph osd crush add-bucket node-1 host
ceph osd crush move node-1 root=default
move到root下前后crush 对比
之前
[root@ceph-1 osd]# ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-2 0 host node-1
-1 0 root default之后
[root@ceph-1 osd]# ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 0 root default
-2 0 host node-1crush中没有删除bucket的命令，只能导出crushmap修改
先mkkey才能mova osd 到bucket下，否则mkkey会报错
22、在crushmap把osd添加到host下：
ceph [--cluster {cluster-name}] osd crush add {id-or-name} {weight} [{bucket-type}={bucket-name} ...]
ceph osd crush add osd.0 1.0 host=node-1
添加后，则osd属于host下，启动服务即可接收数据。加入之前和之后对比：
之前
[root@ceph-1 osd]# ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 0 root default
-2 0 host node-1
0 0 osd.0 down 0 1.00000
1 0 osd.1 down 0 1.00000
2 0 osd.2 down 0 1.00000之后
[root@ceph-1 osd]# ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 3.00000 root default
-2 3.00000 host node-1
0 1.00000 osd.0 down 0 1.00000
1 1.00000 osd.1 down 0 1.00000
2 1.00000 osd.2 down 0 1.00000
23、给osd创建sysvinit并启动osd服务
创建sysvinit,在osd的目录下 touch /var/lib/ceph/osd/{cluster-name}-{osd-num}/sysvinit
touch /var/lib/ceph/osd/ceph-0/sysvinit
24、添加journal
#清除磁盘所有分区(重新添加时需要) #sgdisk --zap-all --clear --mbrtogpt /dev/vdf
Journal大小的选择尊循下面的规则：
osd journal size = {2 * (expected throughput * filestore_max_sync_interval)}
filestore_max_sync_interval为ceph配置，可以在ceph的config中获取，默认为5s
即osd journal的大小应该设置为(磁盘的带宽 * 同步时间) 的2倍。
25、给osd和journal打标签
数据盘标签
sgdisk --typecode=1:4fbd7e29-9d25-41b8-afd0-062c0ceff05d /dev/sdx
日志盘标签
sgdisk --typecode=1:45b0969e-9b03-4f30-b4c6-b4b80ceff106 /dev/sdx
注:对所有日志盘和数据盘执行此操作,日志盘分区与数据盘不同 typecode = 1 代表
第一个分区
Other TAG
sgdisk --typecode=1:4fbd7e29-9d25-41b8-afd0-062c0ceff0f9 -- /dev/sdx
删除旧的journal，把ssd分区的uuid链接到osd目录为journal，并把uuid写入journal_uuid文件
并执行
ceph-osd -i osd_numer --mkjournal
26、在osd所在节点启动osd的服务，将osd状态变为up
service ceph start osd
osd服务启动后，会自动up和in到集群。
依次把所有osd节点的osd完成部署和启动则集群部署完成
osd的服务部署有精简方法：
- 准备：
ceph-disk prepare --cluster {cluster-name} --cluster-uuid {uuid} --fs-type {ext4|xfs|btrfs} {data-path} [{journal-path}]- 激活：
ceph-disk activate {data-path} [--activate-key {path}]注： 如果你的 Ceph 节点上没有
/var/lib/ceph/bootstrap-osd/{cluster}.keyring，那么应该外加--activate-key参数。osd的自动启动是udev的规则控制，所以需要给osd用sgdisk打上标签
规则
/usr/lib/udev/rules.d/95-ceph-osd.rules
/usr/lib/udev/rules.d/60-ceph-by-parttypeuuid.rules