一个环境,很多osd处于nearfull状态,在给osd做reweight的时候,发现有2个pg一直卡在unclean和backfill_toofull状态。
执行ceph health detail
如上图,我们发现,卡住的一个pg 为2.689,执行ceph pg map 2.689,发现此pg up的三个osd为 32,153,66,而这三个osd中,osd.153的磁盘空间使用率是超过85%的,告警 nearfull。
解决办法:
如上图,为ceph osd df命令的执行输出,osd.153 的reweight已经调整到0.9了。根本的解决办法为添加新的osd节点到此集群,重新平衡数据。在无新osd加入的情况下,为了使所有pg都恢复到active+clean状态,可以继续执行ceph osd reweight 153 0.8,降低osd.153的磁盘使用空间。
参考: