咕咕

一、Samba 介绍Samba 是一款基于 GNU 通用公共许可证的自由软件，Samba 项目是软件自由保护协会 (Software Freedom Conservancy) 的成员。自 1992 年以来，Samba 一直为所有使用 SMB/CIFS 协议的客户端（例如所有版本的 DOS 和 Windows、OS/2、Linux 以及许多其他系统）提供安全、稳定且快速的文件和打印服务。 Samba 项目源码位于 https://git.samba.org/samba.git , 镜像代码仓库地址为 https://github.com/samba-team/samba 。 1.1、二进制包安装部署我们的机器环境为 CentOS 8.5.2111 ， 受限于系统版本较老，导致最终安装版本为 Samba 4.19.4 。以下操作基于这些环境进行。 由于安装的 Samba 软件默认缺少 vfs_ceph 的相关库，所以在测试的时候无法测试一些使用场景，因此在实际部署测试的时候并不会使用该版本进行测试，而是会采用编译安装的版本进行测试。 1.1.1、环境初始化相关命令...

一、CephFS QoS社区的相关实现： 基于 tokenbucket 算法的目录 QoS : https://github.com/ceph/ceph/pull/29266 基于 dmclock 算法的 subvolume QoS : 来自日本的 line 公司提出的想法，https://github.com/ceph/ceph/pull/38506 ， https://github.com/ceph/ceph/pull/52147 1.1、基于 TokenBucket 算法的目录 QoS该实现并未合并到主分支。 相关材料： 社区的原始PR: https://github.com/ceph/ceph/pull/29266 实现特点： 基于 TokenBucketThrottle 类在客户端侧实现的 TokenBucket 类型的 QoS，用于约束每个独立的客户端的访问请求； QoS 的限制粒度为每个独立的客户端，没有全局的QoS限制； 用于限制目录级别的操作 QoS； 支持 IOPS 和 BPS 的 QoS 限制，且支持突发流量； 仅支持 FUSE 类型的挂载方式，...

一、介绍GPFS CSI 指的是 GPFS（现在被称为IBM Spectrum Scale）的容器存储接口。IBM Spectrum Scale 是一种高性能的共享磁盘文件管理系统，旨在支持大规模的数据集和高吞吐量的环境，如高性能计算（HPC），大数据分析和AI工作负载。通过GPFS CSI，用户可以有效地将 Spectrum Scale 集成到 Kubernetes 这样的容器管理系统中，以实现数据的动态扩展和管理。 GPFS CSI 仓库代码: https://github.com/IBM/ibm-spectrum-scale-csi 本文中的机器部署拓扑: 机器节点 机器IP地址 角色 node01 10.10.0.1 Server/Client/GUI(Dashboard) node02 10.10.0.2 Server/Client node03 10.10.0.3 Server/Client/minikube 字段解释: Server: 部署 GPFS 集群的节点； Client: 挂载 GP...

考虑到目前 Ceph 的集群部署主要有两种方式: ceph-ansible 和 cephadm ，因此这里主要会针对这两种方式来详细解释如何使用 CephFS NFS 功能。 一、NFS-Ganesha 介绍1.1、NFS 协议介绍关于不同 NFS 版本的关联文档参见: src/doc/USEFUL-RFCs.txt 协议版本 发布时间 相关文档 NFSv2 1989 年 RFC 1092 NFSv3 1995 年 RFC 1813 NFSv4(NFSv4.0) 2002 年 RFC 3530, RFC 7530, RFC 7531, RFC 7931 NFSv4(NFSv4.1) 2010 年 RFC 5661, RFC 5662, RFC 5663, RFC 5664, RFC 8435 NFSv4(NFSv4.2) 2016 年 RFC 7862, RFC 7863 不同版本的协议特点: NFSv2 : 无状态协议； 第一个以RFC形式发布的版本，实现了基本的功能； 每次读写操作中传输数据的最大长度上限值为 8192 ...

一、GPFS 介绍IBM GPFS (General Parallel File System ,GPFS)是一款并行的文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统，而且针对此文件系统的服务操作，可以同时安全地在此文件系统的多个节点上实现。GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上，保证了数据的一致性和完整性。GPFS支持多种平台的部署，如Windows、Linux、AIX，每种环境部署方式相同，降低了软件部署的复杂度。 二、环境准备环境拓扑介绍: 节点名称 节点IP 节点角色 node01 10.10.0.1 Server，GUI(Dashboard) node02 10.10.0.2 Server，GUI(Dashboard)，CES node03 10.10.0.3 Server，CES 相关操作步骤如下: 配置 /etc/hosts : 用于节点间的 hostname 相互识别； 配置 ssh 免密登录 : 用于节点间的相互通信； 关闭防火墙和 selinux : 避免网络问题导致节点间通信异常； 配置时...

一、Ceph RDMA 介绍RDMA（Remote Direct Memory Access）是一种远程直接内存访问技术，它允许客户端系统将数据从存储服务器的内存直接复制到该客户端自己的内存中。这种内存直通技术可以提升存储带宽，降低访问时延，同时还可以减少客户端和存储的 CPU 负载。 按照 Ceph 文档给出的介绍，目前虽然 Ceph 已经支持 RDMA 功能，但是除了其功能可能处于实验阶段，并且支持的能力可能受限，参考文档 。所以我的意见是并不建议在生产环境中使用。 1.2、RDMA 环境初始化以下测试工具均基于 CentOS 8.5.2111 进行测试，不同系统类型版本对应的软件包及命令可能存在差异。 查看 RDMA 硬件及驱动信息: # RDMA 相关软件dnf install -y infiniband-diags rdma-core rdma-core-devel perftest \ librdmacm librdmacm-utils libibverbs libibverbs-utils iproute# 查看 ib 网卡信息# 来自软...

一、介绍1.1、Ceph CSI 介绍Ceph CSI 插件实现了支持 CSI 的容器编排器 (CO) 与 Ceph 集群之间的接口。它们支持动态配置 Ceph 卷并将其附加到工作负载。项目地址: https://github.com/ceph/ceph-csi 。该仓库包含用于 RBD、CephFS 和 Kubernetes sidecar 部署 YAML 的 Ceph 容器存储接口 (CSI) 驱动程序，以支持 CSI 功能：provisioner、attacher、resizer、driver-registrar 和 snapper。 本文基于 Ceph CSI v3.14.1 版本进行测试。 Ceph CSI 驱动与测试过的 Kubernetes 版本信息表: (参考 known-to-work-co-platforms) Ceph CSI 版本 Kubernetes 版本 v3.14.1 v1.30、v1.31、v1.32 v3.14.0 v1.30、v1.31、v1.32 v3.13.1 v1.29、v1.30、v1.31 v3.13.0 v1...

CRUSH（Controlled Replication Under Scalable Hashing）是 Ceph 存储系统中用于数据分布和复制的算法。关于 CRUSH 的论文解析参考: 译 - CRUSH: Controlled, Scalable, Decentralized Placement of Replicated Data 。CRUSH map 是 Ceph 集群中一个关键的配置组件，它定义了数据如何在集群的物理硬件上分布。 CRUSH 算法使得 Ceph 能够在无需中心化或者分布式元数据管理器的情况下，高效、可靠地进行数据复制和恢复。 一、CRUSH map 解析CRUSH map 包含了集群的层次结构和各种规则，这些规则定义了数据应该如何在集群中分布。 CRUSH map 主要包含以下几个部分： Tunables : 一组可用于调整 CRUSH 算法行为的参数。 Devices : 定义集群中所有可用的存储设备的列表。 Types : 定义存储层次结构中的不同层级类型。 Buckets : 组织和管理存储设备（如 OSDs ）的逻辑容器。 Rules : 定...

译作: 可控的、可扩展的、分布式的副本数据放置算法，论文原文 。 该论文于 2006 年 11 月发布于 SC2006 。 CRUSH 是一种用于大规模分布式存储系统的数据分布算法，它通过伪随机函数将数据对象映射到存储设备上，无需依赖中央目录。CRUSH 算法设计考虑了系统的动态性，支持在添加或移除存储设备时高效地重组数据，并最小化不必要的数据移动。此外，CRUSH 支持多种数据复制和可靠性机制，并允许根据用户定义的策略进行数据分布，这些策略能够在故障域之间有效地分离副本，增强数据安全性。 CRUSH 的核心是其层级集群图，该图描述了存储集群的物理和逻辑结构，并通过一系列规则来确定数据的放置位置。CRUSH 算法通过将数据均匀分布在加权设备上，保持存储和设备带宽资源的平衡利用。算法还考虑了设备的故障和过载情况，能够在设备发生故障或过载时重新分配数据，避免数据丢失并优化系统性能。 CRUSH 的映射性能高效，计算复杂度为 O(logn) ，适用于管理大规模（多 PB 级）的存储系统。CRUSH的设计不仅提高了系统的可扩展性和性能，还通过智能的数据分布策略提高了系统的可靠性和数据...

译作: 可扩展哈希下的复制: 可扩展分散数据分布的算法家族 , 原文地址 ，该论文发表于 2004 年 4 月在新墨西哥州圣达菲举行的第 18 届国际并行和分布式处理研讨会 (IPDPS 2004) 论文集。这篇论文介绍了一系列名为 RUSH(Replication Under Scalable Hashing) 的算法，用于在去中心化的存储系统中分配和管理数据。每种 RUSH 变体都有其独特的优势和局限性，选择哪一种取决于具体的系统需求和操作环境。 算法特点: 允许在线调整特定对象的复制程度，且不受其他对象复制程度的影响。 保证数据复制的安全性，即确保同一对象的副本不会存储在同一硬盘上。 支持加权，允许将不同年份的磁盘添加到系统中。加权可以让系统充分利用最新的技术，也可以淘汰较旧的技术。 支持最佳或接近最佳的重组，当系统添加/淘汰磁盘时，会最大限度地减少需要移动的对象数量，以使系统恢复平衡。 支持在线重组，无需长时间锁定文件系统。 完全去中心化，无需中央目录，客户端可以并行计算数据位置。 极少的资源需求，算法速度非常快，并且占用的内存极少。 算法类别: R...