--测试目的
测试ceph集群的读写性能，根据测试数据了解整个ceph集群的性能情况。
--测试环境
1、8节点ceph集群环境，1台虚拟机（cpu 8核，内存8G），8k的块大小，时长2小时
2、8节点ceph集群环境，5台虚拟机（cpu 8核，内存8G），8k的块大小，时长2小时
--测试情景
1、Ceph集群无故障的性能指标
2、Ceph集群移除节点的性能指标
[ceph集群无故障状态测试]
--测试方法：
1、从ceph集群中创建一个1T的块设备空间，将分出的磁盘空间挂载到虚拟机。
A、利用fio工具测试挂载设备的读写速度
B、利用zabbix监控得到虚拟机的系统使用情况（CPU、内存等）
C、利用ceph服务器的ceph命令得到SSD盘和SATA盘的使用情况，利用ceph集群监控页面查看集群的CPU、内存等使用情况
l fio测试
fio --name=test --output=8krw --thread --rw=randwrite --bs=8k --ioengine=libaio --iodepth=64 --numjobs=1 --filename=/dev/sdb1 --direct=1 --time_based --runtime=7200 --allow_mounted_write=1 --group_reporting
[块设备随机写操作]
|
bw（MB/s） |
Iops(每秒的读写速度) |
|
|
randwrite |
74.25 |
9503 |
[块设备随机读操作]
|
bw（MB/s） |
Iops(每秒的读写速度) |
|
|
randread |
107.83 |
13802 |
客户端的系统使用情况
[CPU使用情况（idle）]
随机写：
随机读：
[内存使用情况]
随机写：
随机读：
测试结果分析：业务服务器的cpu消耗在10%到25%之间，内存最大达到7G（内存8G）左右，网络最大达到35Kbps（几乎对客户端网络影响不大）
l 服务端的系统使用情况
[固态盘使用情况]
初始ssd的使用率7%，随机写的过程中17%，随机写操作完成ssd使用率下降到10%
[SATA盘的使用情况]
初始使用率是28.61%，随机写操作完成之后使用率是28.61%
[CPU变化情况]
ceph服务器CPU变化图（随机写）：
随机读:
[内存利用率]
ceph服务器内存变化图（随机写）：
随机读：
测试结果分析：ssd在整个磁盘中只是做缓存，数据不是永久在上面，最终的数据都会写到SATA盘中。服务端的CPU消耗对于网关服务器来说最高达到80%左右，其他服务器最大达到70%左右。服务端的内存基本没消耗。
2、从ceph集群中创建5个1T的块设备空间，将分出的磁盘空间挂载到5个不同物理机创建的虚拟机
A、利用fio工具测试挂载设备的读写速度
B、利用zabbix监控得到虚拟机的系统使用情况（CPU、内存等）
C、利用ceph服务器的ceph命令得到SSD盘和SATA盘的使用情况，利用ceph集群监控页面查看集群的CPU、内存等使用情况
--对照组：1台虚拟机和5台虚拟机性能对照
--读写方式：随机IO
l fio测试
[块设备随机写操作]
|
bw（MB/s） |
Iops(每秒的读写速度) |
|
|
randwrite |
35.96 |
4602 |
[块设备随机读操作]
|
bw（MB/s） |
Iops(每秒的读写速度) |
|
|
randread |
102.33 |
13098 |
测试结论分析：
l 客户端的系统使用情况
[CPU使用情况]
随机写
[内存使用情况]
随机写
测试结论分析：五台客户端服务器的cpu消耗最大达到50%；内存最大达到7.5G左右；网络最大达60Kbps左右。
l 服务端的系统使用情况
[固态盘使用情况]
2%-74%
[SATA盘的使用情况]
28.61%-31.48%
[CPU变化情况]
网关服务器会比其他服务器的cpu使用率更高
[内存利用率]
测试结果分析：ssd在整个磁盘中只是做缓存，数据不是永久在上面，最终的数据都会写到SATA盘中。服务端的CPU消耗对于网关服务器来说最高达到80%左右，其他服务器最大达到70%左右。服务端的内存基本没消耗。
[ceph集群移除节点状态测试]
--测试方法：
1、从ceph集群中创建一个1T的块设备，将该设备挂载到虚拟机，移除集群中的一个节点（移除04节点）
A、利用fio工具测试挂载设备的读写速度
B、利用zabbix监控得到虚拟机的系统使用情况（CPU、内存等）
C、 利用ceph服务器的ceph命令得到SSD盘和SATA盘的使用情况，利用ceph集群监控页面查看集群的CPU、内存等使用情况
l fio测试
[块设备随机写操作]
|
bw（MB/s） |
Iops(每秒的读写速度) |
|
|
randwrite |
38.35 |
4909 |
[块设备随机读操作]
|
bw（MB/s） |
Iops(每秒的读写速度) |
|
|
randread |
91 |
11648 |
测试结论分析：一个节点移除，随机写性能会下降50%左右，随机读性能下降16左右。
l 客户端的系统使用情况
[CPU使用情况]
[内存使用情况]
测试结论分析：客户端CPU最高达到17%；内存会在瞬间上升，之后恢复到之前的低消耗；客户端的网络几乎没什么消耗。
l 服务端的系统使用情况
[固态盘使用情况]
52%
[SATA盘的使用情况]
32.01%
[CPU变化情况]
[内存利用率]
测试结论分析：服务端的CPU利用率最高到达52.96%，内存利用率几乎没什么消耗。