Ceph集群PG分布不均匀的解决方法

问题现象描述

测试IO密集，磁盘负载较高的场景下，观测发现存储端部分硬盘的负载已到100%，部分负载只有不到80%，整体磁盘负载不均衡。通过ceph pg dump查看到Ceph集群PG（Placement Group，放置组）分布有优化空间。

关键过程、根本原因分析

每个OSD上承载的PG数量相差太大，个别OSD压力较大成为瓶颈。

结论、解决方案及效果

运用balancer插件可以实现PG分布优化。

1. 查看当前PG分布情况。
   • 方式一：

     ceph balancer eval

   • 方式二：

     ceph pg dump

   

   以上命令二选一即可。

2. 使能Ceph PG自动均衡优化。

   ceph balancer mode upmap
   ceph balancer on

   Ceph每隔60秒会调整少量PG分布。

3. 不定时重复第1步，若PG分布情况不再变化，则说明分布已达到最佳。