深度学习后端分布式存储ceph技术建议书
存储方案建议书
存储方案建议书
尊敬的领导：
随着信息化时代的到来，企业数据量不断增加，对数据存储的
需求也越来越大。
为了更好地管理和保护企业的数据资产，我们建
议采取以下存储方案：
1. 云存储，云存储是一种灵活、可扩展、高可靠的存储方式，
可以帮助企业将数据存储在云端，实现远程访问和备份。
我们建议
选择知名的云存储服务提供商，如AWS、Azure或Google Cloud，
根据企业实际需求选择合适的存储方案。
2. 分布式存储，分布式存储是将数据分布在多个节点上，提高
数据的可靠性和可用性。
我们建议采用分布式存储系统，如Hadoop、GlusterFS或Ceph，将数据分散存储在多个节点上，提高数据的安
全性和性能。
3. 容灾备份，为了应对突发情况，我们建议建立容灾备份系统，将数据备份到不同地理位置的存储设备上，确保数据不会因为灾难
事件而丢失。
4. 数据压缩和去重，为了节省存储空间，我们建议采用数据压
缩和去重技术，将重复的数据进行去重处理，将数据进行压缩存储，减少存储成本。
5. 数据加密，为了保护数据安全，我们建议对存储的数据进行
加密处理，防止数据泄露和非法访问。
综上所述，我们建议采取以上存储方案，以提高数据的安全性、可靠性和可用性，为企业的发展提供有力的支持。
谢谢！。
分布式文件存储CephFS详尽介绍及使用经验
分布式文件存储 CephFS详尽介绍及使用经验1. Ceph架构介绍Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。
特点如下：- 高性能a. 摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高。
b.考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。
c. 能够支持上千个存储节点的规模，支持TB到PB级的数据。
- 高可用性a. 副本数可以灵活控制。
b. 支持故障域分隔，数据强一致性。
c. 多种故障场景自动进行修复自愈。
d. 没有单点故障，自动管理。
- 高可扩展性a. 去中心化。
b. 扩展灵活。
c. 随着节点增加而线性增长。
- 特性丰富a. 支持三种存储接口：块存储、文件存储、对象存储。
b. 支持自定义接口，支持多种语言驱动。
使用场景：•块存储 (适合单客户端使用)o典型设备：磁盘阵列，硬盘。
o使用场景：a. docker容器、虚拟机远程挂载磁盘存储分配。
b. 日志存储。
...•文件存储 (适合多客户端有目录结构)o典型设备：FTP、NFS服务器。
o使用场景：a. 日志存储。
b. 多个用户有目录结构的文件存储共享。
...•对象存储 (适合更新变动较少的数据，没有目录结构，不能直接打开/修改文件) o典型设备：s3, swift。
o使用场景：a. 图片存储。
b. 视频存储。
c. 文件。
d. 软件安装包。
e. 归档数据。
...系统架构：Ceph 生态系统架构可以划分为四部分：1.Clients：客户端（数据用户）2.mds：Metadata server cluster，元数据服务器（缓存和同步分布式元数据）3.osd：Object storage cluster，对象存储集群（将数据和元数据作为对象存储，执行其他关键职能）4.mon：Cluster monitors，集群监视器（执行监视功能）2. NFS介绍1. NAS(Network Attached Storage)- 网络存储基于标准网络协议NFSv3/NFSv4实现数据传输。
ceph运维手册
ceph运维手册一、介绍Ceph是一个分布式存储系统，具有高性能、高可靠性和高可扩展性的特点。
在大规模数据存储领域，Ceph已经成为一种非常流行的解决方案。
本文将深入探讨Ceph的运维手册，包括必要的配置、监控、故障处理等方面。
二、环境准备在进行Ceph的运维工作之前，需要准备以下环境：1.硬件设备：Ceph要求至少3台服务器，并且每台服务器要有足够的计算和存储资源。
2.操作系统：推荐使用Linux操作系统，例如CentOS、Ubuntu等。
3.网络配置：确保服务器之间能够正常通信，并且网络带宽要足够支持存储系统的数据传输。
三、Ceph集群部署3.1 安装Ceph软件包在每台服务器上执行以下命令，安装Ceph软件包：$ sudo apt-get install ceph -y3.2 配置Ceph集群1.创建一个用于存储Ceph配置文件的目录：$ sudo mkdir /etc/ceph2.在主节点上执行以下命令，生成配置文件：$ sudo ceph-deploy new <主节点>3.编辑生成的Ceph配置文件，添加以下内容：osd pool default size = 2osd crush chooseleaf type = 14.在主节点上执行以下命令，部署配置文件到所有节点：$ sudo ceph-deploy --overwrite-conf config push <所有节点>3.3 启动Ceph集群在主节点上执行以下命令，启动Ceph集群：$ sudo ceph-deploy mon create-initial四、Ceph监控Ceph提供了一套监控工具，可以用于实时监控集群的状态和性能。
4.1 安装和配置监控工具在主节点上执行以下命令，安装和配置监控工具：$ sudo apt-get install ceph-mgr ceph-mgr-dashboard -y4.2 访问监控面板通过浏览器访问主节点的IP地址和监控面板端口，例如：主节点IP地址>:7000。
分布式存储基础、Ceph、cinder及华为软件定义的存储方案
块存储与分布式存储块存储，简单来说就是提供了块设备存储的接口。
通过向内核注册块设备信息,在Linux 中通过lsblk可以得到当前主机上块设备信息列表。
本文包括了单机块存储介绍、分布式存储技术Ceph介绍，云中的块存储Cinder，以及华为软件定义的存储解决方案。
单机块存储一个硬盘是一个块设备，内核检测到硬盘然后在/dev/下会看到/dev/sda/。
因为需要利用一个硬盘来得到不同的分区来做不同的事，通过fdisk工具得到/dev/sda1, /dev/sda2等，这种方式通过直接写入分区表来规定和切分硬盘,是最死板的分区方式。
分布式块存储在面对极具弹性的存储需求和性能要求下，单机或者独立的SAN越来越不能满足企业的需要。
如同数据库系统一样，块存储在scale up的瓶颈下也面临着scale out的需要。
分布式块存储系统具有以下特性：分布式块存储可以为任何物理机或者虚拟机提供持久化的块存储设备;分布式块存储系统管理块设备的创建、删除和attach/detach;分布式块存储支持强大的快照功能，快照可以用来恢复或者创建新的块设备;分布式存储系统能够提供不同IO性能要求的块设备。
现下主流的分布式块存储有Ceph、AMS ESB、阿里云磁盘与sheepdog等。
1Ceph1.1Ceph概述Ceph目前是OpenStack支持的开源块存储实现系统(即Cinder项目backend driver之一) 。
Ceph是一种统一的、分布式的存储系统。
“统一的”意味着Ceph可以一套存储系统同时提供对象存储、块存储和文件系统存储三种功能，以便在满足不同应用需求的前提下简化部署和运维。
“分布式”在Ceph系统中则意味着真正的无中心结构和没有理论上限的系统规模可扩展性。
Ceph具有很好的性能、可靠性和可扩展性。
其核心设计思想，概括为八个字—“无需查表，算算就好”。
1.2Ceph系统的层次结构自下向上，可以将Ceph系统分为四个层次：基础存储系统RADOS（Reliable, Autonomic, Distributed Object Store，即可靠的、自动化的、分布式的对象存储）；基础库LIBRADOS；高层应用接口：包括了三个部分：RADOS GW（RADOS Gateway）、RBD（Reliable Block Device）和Ceph FS（Ceph File System）。
如何利用Ceph构建高可靠性分布式存储系统
如何利用Ceph构建高可靠性分布式存储系统Ceph是一个免费开源的分布式存储系统，可以轻松地构建高可靠性的分布式存储系统。
Ceph是基于对象存储的，并提供了可伸缩性、高可用性和高性能的特性。
Ceph的体系结构包括Ceph存储集群、Ceph客户端和Ceph Gateway。
Ceph存储集群由一组存储节点组成，这些存储节点可以是笔记本电脑、台式机或服务器。
Ceph客户端是与应用程序交互的组件，提供了文件系统、块存储和对象存储接口。
Ceph Gateway是一个可选组件，提供了S3和Swift接口。
Ceph的存储数据结构是RADOS（可靠自定存储对象），是一个对象存储系统。
RADOS的数据对象是具有唯一标识和可用性功能的二进制对象。
RADOS存储的二进制数据与Ceph存储集群的存储节点分布有关，可以利用Ceph内置的一个分布式文件系统（CephFS）或基于块设备（RBD）来使用存储。
Ceph利用三个关键技术来实现高可靠性分布式存储系统：分布式副本、PG（placement groups）和CRUSH（Controlled Replication Under Scalable Hashing）算法。
分布式副本是Ceph副本管理的核心部分。
每个PG都有多个副本，Ceph在多个存储节点上分别存储这些副本，确保在节点故障的情况下数据的可用性。
PG是Ceph在存储集群上分配桶的方式，它将桶分组为小的计算单位，以便根据负载平衡和其他因素有效地管理设备。
CRUSH算法是一种分布式算法，它能够在存储集群中组织节点和数据副本的散列。
CRUSH算法通过构建一颗基于哈希值的树（称为CRUSH树），将所有的存储节点和副本散列到CRUSH树上的节点上。
这样，每个数据对象都可以存储在CRUSH树上的某个节点上，而这个节点也对应一个存储节点。
当存储节点发生故障时，CRUSH算法可以自动重新映射数据对象的存储位置，以确保数据的可用性。
ceph运维手册
ceph运维手册Ceph是一个开源的分布式存储系统，可提供高可用性、高性能和可扩展性。
为了能够有效地管理和维护Ceph集群，需要掌握一些运维技巧和最佳实践。
以下是关于Ceph运维的一些指南和手册。
1. 部署和安装Ceph集群：- 选择合适的硬件配置：了解Ceph的硬件要求，并根据需要选择适当的硬件，如存储设备、网络等。
- 安装Ceph软件包：根据操作系统版本和类型，选择合适的Ceph 软件包，并按照官方文档进行安装。
- 配置Ceph集群：了解Ceph的配置文件和参数，按照需求进行相应的配置，如存储池、存储节点等。
2. 监控和调优Ceph集群：- 使用Ceph管理工具：了解Ceph提供的管理工具，如cephadm、ceph-deploy等，可以方便地监控和管理Ceph集群。
- 监控集群状态：配置和使用监控工具，如Ceph Dashboard、Prometheus等，定期监控集群的状态和性能指标，及时发现和解决问题。
- 调优集群性能：根据实际需求和负载特点，调整Ceph集群的参数和配置，例如调整副本数、调整缓存策略等，以提高性能和可靠性。
3. 故障排除和故障恢复：- 日志分析和排查：仔细分析Ceph集群的日志，找出可能的问题根源，并采取相应的解决措施。
- 数据恢复和修复：当发生数据丢失或损坏时，根据Ceph提供的工具和方法，进行数据恢复和修复操作，确保数据的完整性和可用性。
- 灾难恢复：制定和实施灾难恢复计划，确保在灾难事件发生时，能够快速恢复Ceph集群的运行。
4. 安全和权限管理：- 访问控制和身份认证：了解Ceph的访问控制机制，配置和管理用户、角色和权限，确保集群的安全性。
- 数据加密和传输安全：配置和使用Ceph的加密功能，保护数据的隐私和机密性，确保数据在传输过程中的安全性。
5. 升级和扩展Ceph集群：- 升级Ceph软件：根据官方文档，了解和执行Ceph软件的升级过程，确保平滑升级，并避免数据丢失或故障。
ceph分布式存储技术参数
ceph分布式存储技术参数
摘要：
1.Ceph 简介
2.Ceph 的分布式存储技术
3.Ceph 的技术参数
4.总结
正文：
1.Ceph 简介
Ceph 是一种开源的、高度可扩展的分布式存储系统，旨在提供优秀的性能、可靠性和可扩展性。
它采用了一种名为“对象存储”的数据存储方式，使得数据可以在集群中的多个节点上分布式存储，从而实现了高可用性和高性能。
2.Ceph 的分布式存储技术
Ceph 的分布式存储技术主要包括三个部分：Ceph OSD（Object Storage Daemon）、Ceph Monitor（Ceph Mon）和Ceph 元数据服务器。
其中，Ceph OSD 负责数据存储和数据复制，Ceph Monitor 负责集群管理和监控，Ceph 元数据服务器负责存储元数据信息。
3.Ceph 的技术参数
Ceph 的技术参数主要包括以下几个方面：
(1) 存储容量：Ceph 可以横向扩展，理论上可以支持无限的存储容量。
(2) 数据可靠性：Ceph 支持数据副本，可以根据用户的需求进行配置，以实现不同的数据可靠性和性能平衡。
(3) 性能：Ceph 的性能非常出色，可以支持高并发访问和大规模数据存储。
(4) 可扩展性：Ceph 可以水平扩展，可以支持大量的节点和存储设备。
(5) 安全性：Ceph 支持多种访问控制方式，可以实现数据的安全存储和访问。
(完整版)Ceph分布式存储
Ceph分布式存储系统Ceph是根据加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。
Ceph其命名和UCSC（Ceph 的诞生地）的吉祥物有关，这个吉祥物是“Sammy”，一个香蕉色的蛞蝓，就是头足类中无壳的软体动物。
这些有多触角的头足类动物，是对一个分布式文件系统高度并行的形象比喻。
其设计遵循了三个原则：数据与元数据的分离，动态的分布式的元数据管理，可靠统一的分布式对象存储机制。
本文将从Ceph的架构出发，综合性的介绍Ceph分布式文件系统特点及其实现方式。
一、Ceph基本架构Ceph是一个高可用、易于管理、开源的分布式存储系统，可以在一套系统中同时提供对象存储、块存储以及文件存储服务。
其主要由Ceph存储系统的核心RADOS以及块存取接口、对象存取接口和文件系统接口组成，如图所示Ceph的底层是RADOS，它的意思是“A reliable,autonomous, distributed object storage”。
RADOS作为Ceph分布式文件系统的一个子项目，是为了满足Ceph的需求而设计的，但是，其也可以单独作为一种分布式数据存储系统，给其他的有类似需求的分布式文件系统提供数据存储服务。
Ceph文件系统, Ceph对象存储和Ceph块设备从RADOS的存储集群中读去和写入数据。
Ceph作为一个分布式存储系统，其对外提供的接口，决定了其通用性以及扩展性。
如上图架构图中所示的那样，Ceph对外提供了丰富多样的服务接口，包括多种编程语言接口LIBRADOS（备注，上图来自Ceph中文社区，社区人员在翻译的过程中将字母L遗失掉了）、对象存储接口(RADOSGW)、块存储接口（RBD)以及文件系统接口(Ceph FS)。
其中LIBRADOS编程接口是其他各种客户端接口的基础，其他接口都是基于LIBRADOS来进行扩展实现的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
深度学习后端分布式存储c e p h技术建议书-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KIIAI平台分布式存储（ceph）技术建议书目录1. 前言 (3)2. 现状 (4)3. 技术调研 (5)3.1. 要求 (5)3.2. 技术选型 (5)3.2.1.分布式存储分类 (5)3.2.2.特性对比 (6)4. ceph技术原理 (6)4.1. 基本组成 (6)4.2. 逻辑架构 (8)4.3. 数据流程 (9)5. 资源要求 (9)5.1. 硬件指标 (9)5.1.1.cpu (10)5.1.2.内存 (10)5.1.3.硬盘 (10)5.1.4.日志盘 (11)5.1.5.osd节点密度 (11)5.1.6.分配方式 (11)5.2. 网络结构 (12)5.3. 软件兼容性 (13)5.4. 快速配置参考 (14)6. 数据安全 (15)6.1. 用户 (15)6.2. 认证机制 (15)6.3. 用户分类 (16)6.4. 授权类型 (17)7. 存储割接 (18)8. 其他 (18)1.前言目前公司AI平台所用后端数据存储包含三种方式，对象存储（OSS）：冷数据，备份数据，共享存储（NFS）：热数据，训练任务用数据，节点存储（DEV）：服务器自身磁盘，除了节点存储，其他两类在迁移容器云后依然保留，节点存储则不再使用。
由于nfs服务的局限性，建议使用分布式共享存储替换当前的nfs方式，以满足后续的因业务增长，对存储的容量和性能更高要求。
2.现状目前物理服务器5台，借用其他业务测试用主机构建NFS高可用，单机磁盘裸容量36T，为了增加磁盘的读写效率，同时保障数据安全性，做了RAID5+RAID0组合方式，该架构目前提供共计20T共享热数据文件存储。
由于nfs容易上手,部署方便且快速，维护十分简单，在项目前期可以作为简单的共享存储使用，伴随着用户训练任务的增长，nfs方式的短板日趋明显，扩容受限，已不能够支撑后续多任务，多用户对数据的大批量、高性能读写请求。
当前存在问题：a.容易发生单点故障，虽然采用keepalived高可用,但增加了维护的复杂度，同时更拔高了其他短板的表现，尤其在连接管理，效率性能方面，并且在两节点切换期间不可避免存在数据丢失情况；b.扩容受限，在高并发下NFS效率/性能有限；c.客户端没用用户认证机制，且数据是通过明文传送，无安全保障；e.多台机器挂载NFS服务器时，连接管理维护麻烦；3.技术调研3.1.要求目前公司提供的存储，能够和AI当前架构对接的仅限于OSS对象存储，其他的hdfs，hive、hbase均无法采用，公司的NAS资源有限，目前支撑其他项目，无扩容计划，不借用，在无资源和资金支撑下，分布式存储选择需要以下要求：✓文件存储：支持POSIX接口，可以像普通文件系统（如ext4）那样访问✓开源性：不采用第三方公司产品，或二次封装方式；✓安全性：能够满足最基本的用户接入控制，并不限于此；✓去中心化：高可用，能够纵向升级和横向扩展，即分布式需求；✓通用性：普通硬件，即能够正常运行Linux服务器即可；3.2.技术选型分布式存储已经研究很多年，但直到近年来，伴随着谷歌、亚马逊和阿里等互联网公司云计算和大数据应用的兴起，它才大规模应用到工程实践中。
如谷歌的分布式文件系统GFS、分布式表格系统google Bigtable，亚马逊的对象存储AWS，阿里的TFS等都是很好的代表，同时也催生了一大批优秀的开源分布式存储系统，包括ceph、swift、Lustre和glusterfs等。
3.2.1.分布式存储分类分布式存储按其存储接口分为三种：文件存储、块存储和对象存储。
在主流的分布式存储技术中，HDFS/GPFS/GFS属于文件存储，Swift属于对象存储，而Ceph可支持块存储、对象存储和文件存储，故称为统一存储。
文件存储通常支持POSIX接口（如glusterfs，但GFS、HDFS是非POSIX接口的），可以像普通文件系统（如ext4）那样访问，但又比普通文件系统多了并行化访问的能力和冗余机制。
主要的分布式文件存储系统有TFS、cephfs、glusterfs和HDFS等。
主要存储非结构化数据，如普通文件、图片、音视频等。
可以采用NFS和CIFS等协议访问，共享方便。
块存储这种接口通常以QEMU Driver或者Kernel Module的方式存在，主要通过qemu或iscsi 协议访问。
主要的块存储系统有ceph块存储、sheepdog等。
主要用来存储结构化数据，如数据库数据。
数据共享不方便。
DAS和SAN都是块存储类型。
对象存储对象存储系统综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的数据共享等优势。
以对象作为基本的存储单元，向外提供RESTful数据读写接口，常以网络服务的形式提供数据访问。
主要的对象存储系统有AWS、swift和ceph对象存储。
主要用来存储非结构化数据。
3.2.2.特性对比按照选型要求和各技术特性对比，规划采用ceph方式的文件系统。
4.ceph技术原理4.1.基本组成Ceph 支持三种存储接口：对象存储 RGW(rados gateway)、块存储 RBD(rados block device) 和文件存储 CephFS，这三个接口只是在客户端的封装库不同，到服务端了都是对象存储；对象存储（RGW:RADOS gateway）Ceph 对象存储服务提供了 REST 风格的 API ，它有与 Amazon S3 和 OpenStack Swift 兼容的接口。
也就是通常意义的键值存储，其接口就是简单的GET、PUT、DEL和其他扩展;块存储（RBD：RADOS block device）RBD 是通过librbd库对应用提供块存储，主要面向云平台的虚拟机提供虚拟磁盘；RBD 类似传统的SAN存储，提供数据块级别的访问；目前 RBD 提供了两个接口，一种是直接在用户态实现，通过 QEMU Driver 供 KVM 虚拟机使用。
另一种是在操作系统内核态实现了一个内核模块。
通过该模块可以把块设备映射给物理主机，由物理主机直接访问。
文件存储Ceph 文件系统服务提供了兼容 POSIX 的文件系统，可以直接挂载为用户空间文件系统。
它跟传统的文件系统如Ext4是一个类型，区别在于分布式存储提供了并行化的能力；原生接口除了以上3种存储接口，还可以直接使用 librados 的原生接口，直接和RADOS通信；原生接口的优点是是它直接和和应用代码集成，操作文件很方便；但它的问题是它不会主动为上传的数据分片；一个1G的大对象上传，落到 Ceph 的存储磁盘上就是1G的文件；4.2.逻辑架构ceph 的组件采用插件的机制，包括后端存储，KV 数据库，磁盘管理等。
各组件之间可以灵活的组合。
Ceph Monitor（ceph-mon）维护集群状态的映射，包括监视器映射，管理器映射，OSD 映射和CRUSH映射。
这些映射是Ceph守护进程相互协调所需的关键集群状态。
监视器还负责管理守护进程和客户端之间的身份验证。
冗余和高可用性通常至少需要三个监视器。
Ceph Manager守护程序（ceph-mgr）负责跟踪运行时指标和Ceph集群的当前状态，包括存储利用率，当前性能指标和系统负载。
Ceph Manager守护进程还托管基于python的插件来管理和公开Ceph集群信息，包括基于Web的仪表板和REST API。
高可用性通常至少需要两名经理。
Ceph OSD（对象存储守护进程 ceph-osd）存储数据，处理数据复制，恢复，重新平衡，并通过检查其他Ceph OSD守护进程来获取心跳，为Ceph监视器和管理器提供一些监视信息。
冗余和高可用性通常至少需要3个Ceph OSD。
Ceph元数据服务器（MDS ceph-mds）代表Ceph文件系统存储元数据（即，Ceph块设备和Ceph对象存储不使用MDS）。
Ceph的元数据服务器允许POSIX文件系统的用户来执行基本的命令（如 ls，find没有放置在一个Ceph存储集群的巨大负担，等等）。
4.3.数据流程ceph寻址过程1. file --- object映射，把file分割成N个相同的对象2.object - PG映射，利用静态hash得到objectID的伪随机值，在 "位与" mask上使得object获取属于自己的PG3.pg --osd映射，将pg映射到实际的存储单元osd，RADOS利用crush算法，由pgid 得到一组n个osd，再由osd daemon执行映射到本地的object在本地系统中存储，访问，数据维护，此次映射功能直接受到crush map以及rule限制，只有cluster map和rule不发生改变时，pg和osd的映射关系才固定。
5.资源要求5.1.硬件指标Ceph 可以运行在廉价的普通硬件上，小型生产集群和开发集群可以在一般的硬件上，PB 级生产集群也可以使用普通硬件，但应该配备更多内存、 CPU 和数据存储空间来解决流量压力。
5.1.1.cpu每一个osd守护进程至少有一个cpu核，计算公式如下：(（cpu sockets * cpu cores per soket * cpu clock speed in GHZ) /No.Of OSD)>=1 例如：一台服务器拥有一个单插座，6核，2.5Ghz的cpu，就足以支持12个osd，每个osd将大致得到1.25FGhz的计算能力（（1*6*2.5）/12）=1.25Iter Xeon Processor E5-2620(2.4GHz,6 core)1 * 6 * 2.40=14.1 适合多达14个osd的ceph节点5.1.2.内存moniter和metadata的守护进程，一般会随着集群的大小而变化，ceph mds很大程度上取决于数据缓存，需要大量的RAM，RAM越高，cephfs性能越好。
osd会要求数量客观的内存，一般每个OSD守护进程1G足以，不过从性能上讲每个守护进程2G是一个更好的选择。
5.1.3.硬盘当一个osd接受请求写一个object时，它会首先把object写到pg acting set中的osd 对应的日志盘，然后发送一个写确认给客户端，很快日志数据会同步到数据盘,使用ssd做日志盘，可以减少访问时间，降低写延迟，大幅提升吞吐量。
OSD应该有足够的硬盘空间来存放对象数据。
我们建议硬盘驱动器的最小容量为1T。
考虑到较大磁盘的每GB的成本优势。
我们建议将硬盘驱动器的价格除以千兆字节，得出每千兆字节的成本，因为较大的驱动器可能会对每千兆字节的成本有很大影响。