一、Ceph RDMA 介绍 RDMA（Remote Direct Memory Access）是一种远程直接内存访问技术，它允许客户端系统将数据从存储服务器的内存直接复制到该客户端自己的内存中。这种内存直通技术可以提升存储带宽，降低访问时延，同时还可以减少客户端和存储的 CPU 负载。
按照 Ceph 文档给出的介绍，目前虽然 Ceph 已经支持 RDMA 功能，但是除了其功能可能处于实验阶段，并且支持的能力可能受限，参考文档 。所以我的意见是并不建议在生产环境中使用。
1.2、RDMA 环境初始化 以下测试工具均基于 CentOS 8.5.2111 进行测试，不同系统类型版本对应的软件包及命令可能存在差异。
查看 RDMA 硬件及驱动信息:
测试 RDMA 网络:
RDMA 流量带宽监测脚本:
#!/bin/bash "mlx5_bond_0" cat /sys/class/infiniband/$DEVICE /ports/$PORT /counters/port_rcv_data)cat /sys/class/infiniband/$DEVICE /ports/$PORT /counters/port_xmit_data)while true ; do sleep $INTERVAL cat /sys/class/infiniband/$DEVICE /ports/$PORT /counters/port_rcv_data)cat /sys/class/infiniband/$DEVICE /ports/$PORT /counters/port_xmit_data)4 ))4 ))echo "scale=2; $rcv_bytes / $INTERVAL / 1000000" | bc)echo "scale=2; $xmit_bytes / $INTERVAL / 1000000" | bc)echo -e "RX: ${rcv_rate} MB/s \t TX: ${xmit_rate} MB/s" $curr_rcv $curr_xmit done
二、使用 ceph-ansible 部署
注意: 本次部署出现了很多问题，最终并没有成功部署至可使用的状态。但是本文总结了一些部署过程及过程中需要注释的事项，供读者参考。
本次测试环境的机器系统为 CentOS 8.5.2111 ，使用 ceph-ansible/stable-6.0 来部署 Ceph v16.2.15 版本进行测试。
在执行实际的部署安装前，我们可以使用下面的命令来查看对应的 ceph 软件包是否支持 rdma 。
"rdma|verbs" "rdma|verbs" "rdma|verbs" "rdma|verbs"
2.1、配置初始化 2.1.1、部署配置初始化
注意: 我们在部署 Ceph v16.2.15 版本的时候，将 ms_public_type 设置为 async+posix ，但是发现 ceph-mgr 在这种配置下会频繁报错: Infiniband to_dead failed to send a beacon: (115) Operation now in progress 。修改配置 debug ms = 20/20 分析发现 Infiniband recv_cm_meta got bad length (26) 相关报错信息。该错误后续有详细日志介绍，本文仍未解决该问题。
修改 ceph-ansible 中的 ./group_vars/all.yml 文件:
ceph_origin: repository ceph_repository: custom ceph_custom_repo: http://xxxxxxxxxxx/ceph-v16.2.15.repo ceph_conf_overrides: global: ms_type: async+rdma ms_cluster_type: async+rdma ms_public_type: async+posix ms_async_rdma_cm: false ms_bind_ipv4: true ms_bind_ipv6: false ms_async_rdma_type: ib ms_async_rdma_device_name: mlx5_bond_0 ms_async_rdma_port_num: 1 ms_async_rdma_gid_idx: 3
使用 aliyun ceph 源的配置文件 ceph-v16.2.15.repo : (需要将该文件上传到一个 http 服务中供 ceph-ansible 下载)
[ceph]
注意: 本次是采用非容器化的部署方式。安装 ceph 软件后，对应的 systemd 的配置文件位于 /usr/lib/systemd/system/ 目录中。如果我们在部署时配置了 ceph_<service_name>_systemd_overrides 参数，那么 ceph-ansible 在部署集群时会在部署节点的 /etc/systemd/system/ 目录中创建对应服务的配置目录（/etc/systemd/system/ceph-<service_name>@.service.d/）及对应的配置文件（ceph-<service_name>-systemd-overrides.conf），用来覆盖一些特定的参数。
修改 ceph-ansible 中各 ceph 服务的配置:
2.1.2、配置部署节点环境 由于 RDMA 通信要求固定计算机的物理内存（也就是说，当整个计算机在可用内存上启动不足时，内核不允许将该内存交换到分页文件）。固定内存通常是非常特权的操作。为了允许 root 之外的用户运行大型 RDMA 应用程序，可能需要增加非 root 用户在系统中被允许的内存量。这可以通过在 /etc/security/limits.d/ 目录中添加一个自定义配置文件来实现。参考配置文件内容: Bring Up Ceph RDMA - Developer’s Guide
修改 Ceph 部署机器上的 /etc/security/limits.d/rdma.conf 配置:
cat /etc/security/limits.d/rdma.conf
2.2、部署集群 相关命令:
"ps xau | grep ceph; podman ps" "ps xau | grep ceph; podman ps; ceph -s"
2.3、客户端挂载使用 mkdir -p /mnt/cephfsls -al /mnt/cephfs/dd if =/dev/zero bs=1M count=1000 | pv -L 3M | dd of=/mnt/cephfs/testfile oflag=direct status=progressdd if =/mnt/cephfs/testfile bs=1M count=1000 iflag=direct | pv -L 1M | dd of=/dev/null status=progress
三、使用 cephadm 部署
注意: 由于 CentOS 8 已经没有 v19.x.x 版本的 cephadm 软件包供使用。但是我们通过在 CentOS 9 Stream 上编译打包 RPM 后提供 CentoS 8 使用。之后 cephadm 部署集群的时候使用官方最新的 Ceph 容器镜像，这里使用的是 Ceph v19.2.3 的容器镜像。
本次测试环境的机器系统为 CentOS 8.5.2111 ，使用 Ceph v19.2.3 版本进行测试。
3.1、环境配置 3.1.1、配置 cephadm 在部署集群之前，我们需要指定一些集群配置以启用 RDMA 特性。这里仅介绍和 RDMA 有关的一些配置，其他的部署集群所需要的配置这里并没有介绍，仍需要你在部署集群前配置 ok 。
/root/ceph.conf 配置文件内容如下:
[global]
配置解析:
ms_type : 消息传输类型，支持 async+posix , async+dpdk 和 async+rdma 三种类型，其中 async+posix 为默认的传输类型，其他两种是实验性的并且支持可能受限。ms_cluster_type : 集群内部消息传输类型，如果未指定默认为 ms_type 。ms_public_type : 集群内部消息传输类型，如果未指定默认为 ms_type 。ms_async_rdma_cm : 是否启用 RDMA CM 方式管理 RDMA 连接，默认为 false ，如果未启用则使用 Verbs 方式管理 RDMA 连接。
该参数需要和 ms_async_rdma_type 配合使用，如果该参数为 true ，则 ms_async_rdma_type 需要要设置为 iwarp ，否则会出错。
ms_async_rdma_type : RDMA 实现协议类型，可选值为 iwarp 或 ib ，默认为 ib 。ms_async_rdma_device_name : RDMA 设备名称。ms_async_rdma_port_num : RDMA 设备上的端口号。一块网络卡可能有多个端口，每个端口都能独立地进行网络通信。port_num 参数用于选择具体哪个端口用于 RDMA 通讯。ms_async_rdma_gid_idx : RDMA 设备全局标识符。用于在 InfiniBand 网络中唯一标识设备。gid_idx 是 GID 表中的索引，用于选择特定的 GID。这在配置 RoCE（RDMA over Converged Ethernet）连接时尤其重要，可以根据需求选择使用 RoCE v1 或 v2。
3.1.2、配置部署节点环境 由于 RDMA 通信要求固定计算机的物理内存（也就是说，当整个计算机在可用内存上启动不足时，内核不允许将该内存交换到分页文件）。固定内存通常是非常特权的操作。为了允许 root 之外的用户运行大型 RDMA 应用程序，可能需要增加非 root 用户在系统中被允许的内存量。这可以通过在 /etc/security/limits.d/ 目录中添加一个自定义配置文件来实现。参考配置文件内容: Bring Up Ceph RDMA - Developer’s Guide
修改 Ceph 部署机器上的 /etc/security/limits.d/rdma.conf 配置:
cat /etc/security/limits.d/rdma.conf
3.2、部署集群 set global log_to_file true set global mon_cluster_log_to_file true set global log_to_stderr false set global mon_cluster_log_to_stderr false set global log_to_journald false set global mon_cluster_log_to_journald false ls ls detailset cephfs.cephfs.meta min_size 1set cephfs.cephfs.meta size 2 --yes-i-really-mean-itset cephfs.cephfs.data min_size 1set cephfs.cephfs.data size 2 --yes-i-really-mean-it
3.3、集群配置调整
注意: 当每次执行 ceph orch daemon add * 操作的时候，都会重新更新对应机器上的 /etc/systemd/system/ceph-<cluster_id>@.service 配置文件，我们可以从 src/cephadm/cephadmlib/systemd_unit.py 和 src/cephadm/cephadmlib/templating.py 中找到相关的实现。由于这些模板会被打包成一个 zipapp 文件（即 cephadm 可执行文件），因此我们无法在执行 cephadm 的时候修改本地的一些文件来尝试在远程机器的 /etc/systemd/system/ceph-<cluster_id>@.service 文件中应用新的配置。
修改 /etc/systemd/system/ceph-@.service 配置文件中的内容:
[Service]
相关命令:
ls /var/lib/ceph/$fsid / | grep osd | while read dir ; do systemctl restart ceph-$fsid @$dir .service; done mkdir ./cephadm_templates'cephadmlib/templates/*' -d ./cephadm_templatescat ./cephadm_templates/cephadmlib/templates/ceph.service.j2
3.4、客户端挂载使用 mkdir -p /mnt/cephfsls -al /mnt/cephfs/dd if =/dev/zero bs=1M count=1000 | pv -L 3M | dd of=/mnt/cephfs/testfile oflag=direct status=progressdd if =/mnt/cephfs/testfile bs=1M count=1000 iflag=direct | pv -L 1M | dd of=/dev/null status=progress
四、相关问题 4.1、Infiniband to_dead failed to send a beacon 错误 问题记录:
2024-08-09T13:34:49.108+0800 7fcdd4ea8700 -1 Infiniband to_dead failed to send a beacon: (115) Operation now in progressin progressin progressin progressin progress
4.2、未配置 LimitMEMLOCK 和 PrivateDevices 报错 该问题由于未修改 osd 启动进程的 /etc/systemd/system/ceph-<cluster_id>@.service 配置文件，导致启动 osd 启动报错，按照上面规则修改后可解决该问题。
问题记录:
Cumulative compaction: 0.00 GB write, 0.00 MB/s write, 0.00 GB read , 0.00 MB/s read , 0.0 secondsread , 0.00 MB/s read , 0.0 secondsfor pending_compaction_bytes, 0 slowdown for pending_compaction_bytes, 0 memtable_compaction, 0 memtable_slowdown, interval 0 total countfor clientsfor monsfor osdstrue 'int Infiniband::MemoryManager::Cluster::fill(uint32_t)' thread 7fd20d002640 time 2025-08-10T06:56:02.571743+0000clone ()in thread 7fd20d002640 thread_name:msgr-worker-0clone ()
4.3、osd 进程异常 当通过 cephadm 完成集群部署，配置变更后，仍出现该问题，目前问题不明。
2025-08-10T07:02:24.266+0000 7f8177a94740 0 <cls> /home/jenkins-build/build/workspace/ceph-build/ARCH/x86_64/AVAILABLE_ARCH/x86_64/AVAILABLE_DIST/centos9/DIST/centos9/MACHINE_SIZE/gigantic/release/19.2.3/rpm/el9/BUILD/ceph-19.2.3/src/cls/cephfs/cls_cephfs.cc:201: loafor clientsfor monsfor osdstrue done with init, starting boot processset to 1set to 0set to 3set to 10test .'' numa node: (2) No such file or directoryfor new mapfunction 'void RDMAConnectedSocketImpl::handle_connection()' thread 7f8173a17640 time 2025-08-10T07:02:33.508351+0000clone ()in thread 7f8173a17640 thread_name:msgr-worker-2clone ()help hook 0x562727300ce0set hook 0x562727300ce0unset hook 0x562727300ce0
五、参考资料
