重启Ceph集群的OSD进程失败的解决方法

问题现象描述

1. Ceph集群测试读写性能，进行一轮测试后。重启集群OSD节点，继续开展读写测试，测试工具提示：

   java.lang.RuntimeException: Slave hd2-0 prematurely terminated.
   at Vdb.common.failure[common.java:335)
   at Vdb.SlaveStarter.startSlave(SlaveStarter.java:198)
   at Vdb.SlaveStarter.run(SlaveStarter.java:47)

   具体信息如下图所示。

   

2. 查看Ceph集群状态发现部分OSD状态为down，如图所示。

   

关键过程、根本原因分析

“osd_memory_target”的值不是官方发布的默认的4G。

结论、解决方案及效果

1. 查看Ceph日志时发现往Ceph分配内存时失败，怀疑在OSD进程在获取内存时有异常。
2. 输入以下命令发现“osd_memory_target”的值并非官方发布的默认的4G。

   ceph --admin-daemon /var/run/ceph/ceph-osd.0.asoc config show | grep memory

   

3. 在ceph.conf文件中添加“osd_memory_target = 4294967296”，使分配给每个OSD的内存限制为4GB。

   

4. 将修改后的文件推送到其他节点。

   ceph-deploy --overwrite-conf admin ceph1 ceph2 ceph3 client1 client2 client3

5. 重启集群。

   systemctl  restart ceph.target