部署MON节点
![](/doc_center/source/zh/kunpengboostkithistory/2200SPC2/sds/public_sys-resources/note_3.0-zh-cn.png)
只需要在主节点ceph1执行。
- 创建集群。
1 2
cd /etc/ceph ceph-deploy new ceph1 ceph2 ceph3
- 在“/etc/ceph”目录下自动生成的ceph.conf文件中。
1
vi /etc/ceph/ceph.conf
将ceph.conf中的内容修改为如下所示:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
[global] fsid = f5a4f55c-d25b-4339-a1ab-0fceb4a2996f mon_initial_members = ceph1, ceph2, ceph3 mon_host = 192.168.3.166,192.168.3.167,192.168.3.168 auth_cluster_required = cephx auth_service_required = cephx auth_client_required = cephx public_network = 192.168.3.0/24 cluster_network = 192.168.4.0/24 bluestore_prefer_deferred_size_hdd = 0 rbd_op_threads=16 # rbd tp线程数 osd_memory_target = 2147483648 # 限制osd内存的参数 bluestore_default_buffered_read = false # 当读取完成时,根据标记决定是否缓存 [mon] mon_allow_pool_delete = true
对于单节点环境,还要在[global]下添加:1 2
osd_pool_default_size = 1 osd_pool_default_min_size = 1
表1 参数释义 参数名称
参数含义
优化建议
rbd_op_threads
块设备支持的最大线程数量
16
osd_memory_target
osd最大可以使用的内存数量
2147483648
bluestore_default_buffered_read
bluestore读buffer开关
false
- 配置节点命令以及使用ceph-deploy配置OSD时,需在“/etc/ceph”目录下执行,否则会报错。
- 修改的目的是为了将内部集群间的网络与外部访问的网络隔离,192.168.4.0用于内部存储集群之间的数据同步(仅在存储节点间使用),而192.168.3.0用于存储节点与计算节点的数据交互。
- 基于globalcache性能考虑,建议将public和cluster都配置在3.0网段。
- Ceph 14.2.8版本在使用bluestore引擎的时候默认会打开bluefs的buffer开关,可能导致系统下内存全部被buff/cache占用,导致性能下降。可以采用以下两种方案解决:
- 在集群压力不大的场景下可以将bluefs_buffered_io开关设置成false。
- 可以通过定时执行echo 3 > /proc/sys/vm/drop_caches来强制回收buffer/cache中的内存。
- 初始化监视器并收集密钥。
1
ceph-deploy mon create-initial
- 将步骤3执行成功后生成的“ceph.client.admin.keyring”拷贝到各个节点上。
1
ceph-deploy --overwrite-conf admin ceph1 ceph2 ceph3 client1 client2 client3
- 查看是否配置成功。
1
ceph -s
如下所示:
1 2 3 4 5
cluster: id: f6b3c38c-7241-44b3-b433-52e276dd53c6 health: HEALTH_OK services: mon: 3 daemons, quorum ceph1,ceph2,ceph3 (age 25h)
父主题: 安装Ceph