Ceph Crimson 设计实现深入解析
Crimson 是 Crimson OSD 的代码名称，它是下一代用于多核心可扩展性的 OSD 。它通过快速网络和存储设备提高性能，采用包括 DPDK 和 SPDK 的顶级技术。BlueStore 继续支持 HDD 和 SSD。Crimson 旨在与早期版本的 OSD 守护进程与类 Ceph OSD 兼容。 Crimson 基于 SeaStar C++ 框架构建，是核心 Ceph 对象存储守护进程 OSD 组件的新实现，并替换了 Ceph OSD 。Crimson OSD 最小化延迟并增加 CPU 处理器用量。它使用高性能异步 IO 和新的线程架构，旨在最小化上下文切换和用于跨通信的操作间的线程通信。 以下分析基于 v19.2.1 进行分析。 一、架构对比Ceph OSD 是 Ceph 集群的一部分，负责通过网络提供对象访问、维护冗余和高可用性，并将对象持久化到本地存储设备。作为 Classic OSD 的重写版本，Crimson OSD 从客户端和其他 OSD 的角度兼容现有的 RADOS 协议，提供相同的接口和功能。Ceph OSD 的模块（例如 Messenger、OSD...
3FS 集群部署笔记
一、3FS 介绍3FS (Fire-Flyer File System) 是一款高性能分布式文件系统。本文详细介绍了在 CentOS 8.5 环境下，从依赖安装、编译配置到集群部署的全过程，包括 Soft-RoCE 模拟 RDMA、FoundationDB 和 ClickHouse 的配置，以及存储拓扑和客户端挂载。适用于开发者快速搭建高性能存储集群。 3FS (Fire-Flyer File System) 项目仓库: https://github.com/deepseek-ai/3FS 。 二、编译安装为了支持多种运行环境的编译安装，3FS 提供了一些 Dockerfile 可供参考。 2.1、安装依赖软件本测试环境使用的系统版本是 CentOS 8.5.2111 ，是比较老的系统版本，为了能够顺利编译安装 3FS ，需要安装一些依赖软件。 这里是在每台需要运行 3FS 的机器上执行下面的编译安装命令。 /etc/yum.repos.d/centos-all.repo 文件内容: [appstream]name=CentOS-8.5.2111...
Ceph Crimson 集群部署教程
当前 ceph 集群搭建部署的方式主要有三种: ceph-ansible, vstart.sh 和 cephadm 。 其中 vstart.sh 脚本用于在开发环境中快速搭建测试集群。 ceph-ansible 是之前推荐的部署 ceph 集群的方式，支持在直接在宿主机上部署或者通过容器部署的方式，目前社区已不推荐使用。 cephadm 是当前最新的支持部署生产集群的方式，仅支持容器部署。接下来主要介绍通过 vstart.sh 和 cephadm 部署 crimson 集群的方式。 一、vstart.sh 搭建集群通过这种方式部署的时候理论上对于 Ceph 版本没有特殊的要求，本文中使用的版本为 v19.2.1 。 vstart.sh 常用于在开发环境环境中快速搭建集群，且在部署集群前我们需要编译出对应的二进制包。由于编译环境可能会有各种依赖缺失，版本异常等问题，这里推荐使用 bugwz/ceph-images 中提供的 CentOS Stream 9 的编译打包环境。同时后续的集群的搭建也可以在容器内部进行。 搭建集群操作步骤如下: 软件编译:...
CephFS 对接 Samba 使用教程
一、Samba 介绍Samba 是一款基于 GNU 通用公共许可证的自由软件，Samba 项目是软件自由保护协会 (Software Freedom Conservancy) 的成员。自 1992 年以来，Samba 一直为所有使用 SMB/CIFS 协议的客户端（例如所有版本的 DOS 和 Windows、OS/2、Linux 以及许多其他系统）提供安全、稳定且快速的文件和打印服务。 Samba 项目源码位于 https://git.samba.org/samba.git , 镜像代码仓库地址为 https://github.com/samba-team/samba 。 1.1、二进制包安装部署我们的机器环境为 CentOS 8.5.2111 ， 受限于系统版本较老，导致最终安装版本为 Samba 4.19.4 。以下操作基于这些环境进行。 由于安装的 Samba 软件默认缺少 vfs_ceph...
Ceph QoS 机制深入分析
一、CephFS QoS社区的相关实现： 基于 tokenbucket 算法的目录 QoS : https://github.com/ceph/ceph/pull/29266 基于 dmclock 算法的 subvolume QoS : 来自日本的 line 公司提出的想法，https://github.com/ceph/ceph/pull/38506 ， https://github.com/ceph/ceph/pull/52147 1.1、基于 TokenBucket 算法的目录 QoS该实现并未合并到主分支。 相关材料： 社区的原始PR: https://github.com/ceph/ceph/pull/29266 实现特点： 基于 TokenBucketThrottle 类在客户端侧实现的 TokenBucket 类型的 QoS，用于约束每个独立的客户端的访问请求； QoS 的限制粒度为每个独立的客户端，没有全局的QoS限制； 用于限制目录级别的操作 QoS； 支持 IOPS 和 BPS 的 QoS 限制，且支持突发流量； 仅支持 FUSE...
GPFS CSI 对接 K8S 指南
一、介绍GPFS CSI 指的是 GPFS（现在被称为IBM Spectrum Scale）的容器存储接口。IBM Spectrum Scale 是一种高性能的共享磁盘文件管理系统，旨在支持大规模的数据集和高吞吐量的环境，如高性能计算（HPC），大数据分析和AI工作负载。通过GPFS CSI，用户可以有效地将 Spectrum Scale 集成到 Kubernetes 这样的容器管理系统中，以实现数据的动态扩展和管理。 GPFS CSI 仓库代码: https://github.com/IBM/ibm-spectrum-scale-csi 本文中的机器部署拓扑: 机器节点 机器IP地址 角色 node01 10.10.0.1 Server/Client/GUI(Dashboard) node02 10.10.0.2 Server/Client node03 10.10.0.3 Server/Client/minikube 字段解释: Server: 部署 GPFS 集群的节点； Client: 挂载...
CephFS 对接 NFS-Ganesha 使用教程
考虑到目前 Ceph 的集群部署主要有两种方式: ceph-ansible 和 cephadm ，因此这里主要会针对这两种方式来详细解释如何使用 CephFS NFS 功能。 一、NFS-Ganesha 介绍1.1、NFS 协议介绍关于不同 NFS 版本的关联文档参见: src/doc/USEFUL-RFCs.txt 协议版本 发布时间 相关文档 NFSv2 1989 年 RFC 1092 NFSv3 1995 年 RFC 1813 NFSv4(NFSv4.0) 2002 年 RFC 3530, RFC 7530, RFC 7531, RFC 7931 NFSv4(NFSv4.1) 2010 年 RFC 5661, RFC 5662, RFC 5663, RFC 5664, RFC 8435 NFSv4(NFSv4.2) 2016 年 RFC 7862, RFC 7863 不同版本的协议特点: NFSv2 : 无状态协议； 第一个以RFC形式发布的版本，实现了基本的功能； 每次读写操作中传输数据的最大长度上限值为 8192...
GPFS 集群部署与运维记录
一、GPFS 介绍IBM GPFS (General Parallel File System ,GPFS)是一款并行的文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统，而且针对此文件系统的服务操作，可以同时安全地在此文件系统的多个节点上实现。GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上，保证了数据的一致性和完整性。GPFS支持多种平台的部署，如Windows、Linux、AIX，每种环境部署方式相同，降低了软件部署的复杂度。 二、环境准备环境拓扑介绍: 节点名称 节点IP 节点角色 node01 10.10.0.1 Server，GUI(Dashboard) node02 10.10.0.2 Server，GUI(Dashboard)，CES node03 10.10.0.3 Server，CES 相关操作步骤如下: 配置 /etc/hosts : 用于节点间的 hostname 相互识别； 配置 ssh 免密登录 : 用于节点间的相互通信； 关闭防火墙和 selinux :...
Ceph RDMA 集群部署教程
一、Ceph RDMA 介绍RDMA（Remote Direct Memory Access）是一种远程直接内存访问技术，它允许客户端系统将数据从存储服务器的内存直接复制到该客户端自己的内存中。这种内存直通技术可以提升存储带宽，降低访问时延，同时还可以减少客户端和存储的 CPU 负载。 按照 Ceph 文档给出的介绍，目前虽然 Ceph 已经支持 RDMA 功能，但是除了其功能可能处于实验阶段，并且支持的能力可能受限，参考文档 。所以我的意见是并不建议在生产环境中使用。 1.2、RDMA 环境初始化以下测试工具均基于 CentOS 8.5.2111 进行测试，不同系统类型版本对应的软件包及命令可能存在差异。 查看 RDMA 硬件及驱动信息: # RDMA 相关软件dnf install -y infiniband-diags rdma-core rdma-core-devel perftest \ librdmacm librdmacm-utils libibverbs libibverbs-utils iproute# 查看 ib 网卡信息#...
Ceph CSI 对接 K8S 指南
一、介绍1.1、Ceph CSI 介绍Ceph CSI 插件实现了支持 CSI 的容器编排器 (CO) 与 Ceph 集群之间的接口。它们支持动态配置 Ceph 卷并将其附加到工作负载。项目地址: https://github.com/ceph/ceph-csi 。该仓库包含用于 RBD、CephFS 和 Kubernetes sidecar 部署 YAML 的 Ceph 容器存储接口 (CSI) 驱动程序，以支持 CSI 功能：provisioner、attacher、resizer、driver-registrar 和 snapper。 本文基于 Ceph CSI v3.14.1 版本进行测试。 Ceph CSI 驱动与测试过的 Kubernetes 版本信息表: (参考 known-to-work-co-platforms) Ceph CSI 版本 Kubernetes...
