lustre文件系统简介
集群文件系统lustre的介绍及应用
科技信息
ＯＩ Ｔ论坛ｏ
Ｓ Ｉ Ｎ Ｅ Ｅ Ｈ Ｏ Ｏ ＹＩＦ Ｒ ＴＯ Ｃ Ｅ Ｃ ＆Ｔ Ｃ Ｎ Ｌ Ｇ Ｎ Ｏ ＭＡ Ｉ Ｎ
２１年 ０２
第５ 期
集群文件 系统 ｌｓ ｅ ｕｔ 的介绍及应用 ｒ
马 艳军 吕 爽 刘 一谦
ｆ 四川 省气 象信 息 中心 四川
【 摘
成都
６ ７ ） １０ １ ０
【 关键词 】 集群文件 系统 ；ｕ ｅＭＤ ； Ｓ ｄ ｄ Ｌｓ ； ＳＯ Ｔ； ｂ ￣ ｒ
Ｉ ｔ ｏ ｃ ｉ ｎ ａ ｄ Ａｐ ｉａｔ ｎ ｏ ｕｓｅ ｌ ｓｅ Ｌｕｓｒ ｎ ｒ ｄｕ ｔｏ ｎ ｐｌ ｉ ｆ Ｃｌ ｔ ｒ Ｆｉ Ｓｙ ｔ ｍ ｃ ｏ ｅ ｔｅ
ＭＡ ｎ ｊｎ Ｌ ｈ ａ ｇ Ｌ Ｕ Ｙｉｑａ Ｙａ －ｕ Ｖ Ｓ ｕ ｎ Ｉ — ｉｎ （ｉｈ ａ ｅｅ ｒｌｇｃｌ ｎｏｍａｉｎＣ ｎｒ， ｈ ｎ ｄ ｉ ｕ ｎ，１ ０ １ Ｓｃ ｕ ｎＭ ｔｏｏｏ ｉａ ｆｒ ｔ ｅ ｔｅ Ｃ ｅ ｇ ｕＳｃ ａ ６ ０７ ） Ｉｓｒ ｅ ｙｔｍ ａｃｉ ｃｕｅａｄ ｏｅａ ｏａ ｍ ｃａ ｉ ｆｔｅｌｓｅ ｃ ｓｅ ｌ ｙｔｍ ａ ｄｄｂ ．Ｌ ｓ ｅｃ ｓｅ ｌ Ａｂ ｔａｔ１ｌ ａ ｅ ｅｃ ｂ ｓｓｓ ｒｈｔ ｔｒ ｎ ｐ ｒｔ ｎ ｌ ｅｈｎｓ ｏ ｕｔ ｌ ｔｒｆｅｓｓ ｎ ｒｄ ｕｔ ｌ ｔｒｆｅ Ｉ ｉ ｉ ｅ ｅ ｉ ｍ ｈ ｒ ｕ ｉ ｅ ｒ ｕ ｉ
lusture 构架讲解
Lustre架构深度解析：原理、设计与应用**摘要**本文将对Lustre架构进行深入的分析和讲解。
从基本的定义和背景出发，逐步深入到其工作原理、设计考虑和应用领域，最后对其前景进行展望。
**一、引言**随着大数据时代的到来，传统的数据处理和分析手段逐渐显得力不从心。
在这样的背景下，Lustre架构应运而生。
它针对海量数据的处理、存储和分析进行了优化，为现代数据中心提供了一个高效、稳定的解决方案。
**二、Lustre架构概述**Lustre，是一个大规模的、集群的文件系统。
它被设计为满足高性能计算（HPC）环境中对数据的巨大需求，同时也可以应用于其他需要大量数据存储和处理的场景。
**三、工作原理**1. **文件系统结构**：Lustre的文件系统结构是分布式的，由元数据服务器（MDS）和对象存储服务器（OSS）组成。
MDS负责管理和维护文件系统的元数据，而OSS则负责实际数据的存储和检索。
2. **数据流程**：当客户端需要读取或写入文件时，它首先会与MDS交互，获取文件的元数据。
然后，客户端将根据这些元数据与相应的OSS交互，完成数据的读取或写入。
3. **并行处理**：Lustre支持并行I/O处理，这意味着多个客户端可以同时读取或写入同一个文件，大大提高了系统的整体性能。
**四、设计考虑**1. **高性能**：Lustre架构从设计之初就瞄准了高性能。
无论是元数据服务还是实际的数据存储，都采用了高性能的硬件和网络设备，确保系统能够在短时间内处理大量的数据请求。
2. **可扩展性**：随着数据的不断增长，系统需要有能力进行扩展。
Lustre架构支持在线扩展，可以在不中断服务的情况下增加存储容量和处理能力。
3. **容错性**：对于关键任务应用，数据的完整性和可用性至关重要。
Lustre提供了冗余和故障转移机制，确保在硬件故障时数据不会丢失，服务不会中断。
**五、应用领域**1. **高性能计算（HPC）**：HPC是对计算能力和数据吞吐量有巨大需求的领域。
lustre集群文件系统及性能介绍
30个线程
50个线程 100个线程
8724/8720
8928/8888 9179/9179
7132/32
7794/7794 8009/8009
3810/3808
4733/4733 5905/5905
10个进程 30个线程
7000/7000
8340/8340
5940/5940
三、性能测试结果
响应时间性能测试数据：
Lustre缺点 1、需要并且只能在linux部署lustre内核，软件部署 与linux操作系统绑定的比较紧密；
2、节点间故障切换要依赖于第三方的心跳技术，如
linux自带的heartbeat软件包
3、目前只能写一份数据，无法依靠lustre实现数据
镜像。
三、性能测试结果
测试内容：
本次测试的内容包括性能测试和故障切换 1. 性能测试主要测试集群文件系统的I/O读写性能效率 2. 故障切换主要测试集群文件系统在网络或系统失效情况下
Client
目录操作，文件开打/ 关闭，元数据，并发 操作 文件内容 ，IO及文 件锁
MDS
恢复，文件 状态和文件 创建
OSS
二、lustre的优缺点
lustre优点
提供数据共享和并行访问能力； 扩展性强：可以在线扩充系统总存储容量及通过增加节点 数扩充网络访问带宽； 适用范围广：在I/O级和数据吞吐率方面能满足全行内系统 均衡灵活的上传、下载文件；
的切换机制。
测试目标：
测试指标包括以下内容：不同文件系统下的tibco消息中间 件存储性能及系统命令工具的磁盘读写性能，系统CPU、 内存、IO等待数据、I/O idle比率等；模拟lustre故障切换
Lustre文件系统
✓ 文件元数据
文件数据分配布局策略 – (本地文件系统)
数据 数据
数据块
数据
. . . 块号码
块分配 基于块,分配器尝试分配
顺序块 Ext2
一级索引 二级索引 三级索引
. . . 块号码
范围(extent)分配 基于范围分配,
描述: 逻辑偏移/长度/物理偏移三元组 B+ 树
VxFS, JFS, reiserfs, xFS…
CMD --元数据分配方法
➢ Lustre结合了目前目录子树分区法和哈希法 的优点，提出了一种管理元数据的混合方法
创建新目录时总是通过哈希法选择一个与父目 录不同的元数据服务器
当一个目录变得很大或者非常繁忙时，Lustre 通过目录分割策略将该目录拆分成由若干个不 同的元数据服务器管理的子目录
Write (obj 2)
OST 2
OST 3
Achieve parallel Bandwidth to all OST’s
Odd blocks, even blocks
Lustre文件系统数据分布布局
➢ 由于Lustre采用了数据和元数据分离的基于 对象存储的体系结构，下面将从这两个方面 分别讨论Lustre数据的分布布局：
File open & write
Lustre Client
Linux VFS Lustre client FS
LOV
OSC OSC
1
3
MDC
Meta-data Server
File open request File meta-data Inode A (obj1, obj2)
MDS
Write (obj 1) OST 1
分布式文件系统luster&MogileFS对比测试
群集文件系统测试介绍分布式文件系统能给用户带来更高的性能、扩展性和可用性，那么构建一个高性能的分布式文件系统又该从何处入手呢？基于Infiniband技术构建Lustre的实例可以让你见识到分布式文件系统的强大性能。
存储系统对于高性能计算平台的性能有重要的影响。
很多关键应用，如天气预报、洋流模拟等都有很高的I/O 吞吐量。
分布式文件系统以其高可靠性、高可扩展性、高性能和高性价比成为高性能计算平台存储系统的首选。
Lustre：该系统是sun公司收购的开源分布式文件系统。
在sun的网站有专门的页面，介绍比较完整，有用户手册和支持文档。
Sun和一些其他公司的存储解决方案均使用该系统。
关键词：→Infiniband 由Mellanox公司提出，是一种新的I/O总线技术，用于取代目前的PCI总线。
→Lustre 它是一个开放源码的基于对象存储的高性能分布式文件系统，由Cluster File System(CFS)公司研发。
→Portals 来源于Sandia大学的Puma轻量内核项目，主要用于高性能的消息传递。
Lustre作为新一代的基于对象的分布式文件系统，同一般的分布式文件系统，如NFS、GFS、PVFS等相比，具有独特的优势：●针对大文件读写进行优化，可以提供高性能的I/O；●数据独立存储；●服务和网络失效的快速恢复；●基于意图的分布式锁管理；●融合了传统分布式文件系统（如AFS和Locus CFS）的特色和传统共享存储集群文件系统（如Zebra、Berkeley XFS、GPFS、Calypso、InfiniFile 和GFS）的设计思想，具有更加有效的数据管理机制；●全局数据共享；●基于对象存储，使存储更具智能化；●系统可快速配置。
网络技术直接影响分布式文件系统的性能。
Infiniband作为一种新的网络类型，其低延迟、高带宽的特点可以为分布式文件系统提供良好的网络支持，提高结点间的通信速度，从而提升整个文件系统的性能。
lustre使用手册
lustre使用手册Lustre使用手册本手册旨在详细介绍Lustre文件系统的使用方法和功能。
下面将逐步介绍Lustre的安装、配置、常见操作以及附加功能。
1.Lustre的安装a) 安装依赖项：在安装Lustre之前，需要确保系统中安装了相应的依赖项，例如：- 块存储设备（例如硬盘）及其文件系统- Networking （NFS）服务器- Open Network Computing Remote Procedure Call（ONC RPC）- Linux内核模块- RPC映射器服务（portmap）b) 获取Lustre软件包：从官方网站Lustre软件包，并确保软件版本和适用的操作系统相匹配。
c) 安装Lustre软件包：按照软件包提供的说明和文档进行安装。
2.Lustre的配置a) 创建Meta数据服务：使用Lustre提供的工具在系统中创建Meta数据服务，设置其属性和权限。
b) 创建Object存储服务：同样，使用Lustre提供的工具在系统中创建Object存储服务，设置其属性和权限。
c) 创建Lustre文件系统：在Meta数据服务和Object存储服务创建成功后，使用Lustre工具创建Lustre文件系统，并进行必要的配置。
3.Lustre的常见操作a) 文件和目录操作：包括创建文件和目录、删除文件和目录、复制和移动文件等。
b) 权限管理：涵盖给用户和组分配权限、更改文件和目录权限、查看权限等。
c) 文件系统监控：介绍如何监控Lustre文件系统的使用情况、性能和健康状态，并提供相应的工具和命令。
d) 快照和回滚：讲解如何创建Lustre文件系统的快照以及如何回滚到先前的快照。
e) 数据迁移与备份：介绍数据迁移和备份的方法和工具。
4.Lustre的附加功能a) 对象存储功能：详细介绍Lustre的对象存储功能，并说明如何在Lustre文件系统中使用对象存储。
b) 安全特性：讲解Lustre的安全特性，例如数据加密、身份认证和访问控制等。
Lustre IO性能特点与最佳实践
Lustre I/O性能特点与最佳实践1 Lustre概述Lustre是面向集群的存储架构，它是基于Linux平台的开源集群（并行）文件系统，提供与POSIX兼容的文件系统接口。
Lustre两个最大特征是高扩展性和高性能，能够支持数万客户端系统、PB级存储容量、数百GB的聚合I/O吞吐量。
Lustre是Scale-Out存储架构，借助强大的横向扩展能力，通过增加服务器即可方便扩展系统总存储容量和性能。
Lustre的集群和并行架构，非常适合众多客户端并发进行大文件读写的场合，但目前对于小文件应用非常不适用，尤其是海量小文件应用LOSF（Lots Of Small Files）。
Lustre广泛应用于各种环境，目前部署最多的为高性能计算HPC，世界超级计算机TOP 10中的70%，TOP 30中的50%，TOP 100中的40%均部署了Lustre。
另外，Lustre在石油、天然气、制造、富媒体、金融等行业领域也被大量部署应用。
2 Lustre StripeLustre采用对象存储技术，将大文件分片并以类似RAID0的方式分散存储在多个OST上，一个文件对应多个OST上的对象。
Lustre系统中，每个文件对应MDT上的一个元数据文件，inode以扩展属性记录了数据分片布局信息，包括stripe_count（对象数）, stripe_size （分片大小）, stripe_offset（起始OST）以及每个OST对象信息。
当客户数据端访问文件时，首先从MDS请求文件元数据并获得分片布局信息（stripe layout），然后直接与多个OST同时交互进行并发读写。
Lustre这种数据分片策略，提高了多用户访问的并发度和聚合I/O带宽，这是Lustre获得高性能的主要因素。
再者，Stripe还能够使得Lustre可以存储超大文件，突破单一OST对文件大小的限制。
当然，数据分片策略同时也会带来负面影响，比如增加系统负载和数据风险。
lustre文件系统简介
备份服务器Failover
• Lustre系统中旳每个节点(MDS/OST)一般都能够配置备 份服务器
• 两个服务器采用共享磁盘存储旳方式来存储数据 • 当服务器或网络连接发生失效时，就会造成客户端数
据访问超时，客户端会查询备份服务器旳数据 • 得到信息后，立即将后续旳祈求重定向植POSIX语法旳linux旳VFS层相 兼容旳接口；
• 逻辑对象卷LOV模块主要经过其下层旳 对象存储客户端OSC为Llite提供对象存 储旳API接口；
• 元数据客户端MDC模块主要被Llite用来 与元数据服务器进行通信，为顾客提供 与各个元数据服务器进行命名空间操作 交互旳元数据对象API接口；
高能所旳 Lustre 布署有四个特点： • (1) 元数据服务器 MDS 分为主从，但是无法在线备份和容错； • (2) 采用万兆以太网； • (3) 没有采用分片存储，一个文件仅存储在一种 OST 上； • (4) 存储设备采用便宜旳SATA 盘，经过 RAID6 实现数据可靠性。
谢谢！
• 基于对象存储旳分布式文件系统 • 基于便宜旳SATA磁盘驱动器构建超大规模存
储集群，不需要专门旳硬件支持 • 支持大多数高速网络类型 • 高吞吐量、高扩展性和高性能 • 有效旳数据管理机制、全局数据共享、失
效替代和系统可迅速配置等功能
Lustre文件系统体系构造
• 元数据服务器 MDS(Meta Data Server) • 对象存储服务器 OSS(Object Storage Server) • 客户端(Client) • 元数据目旳设备MDT(Meta Data Target) • 对象存储目旳设备 OST(Object storage Target) • 连接这些组件旳高速网络
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
•
客户端与MDS之间进行元数据的 交互、目录管理、文件的打开和 关闭、并发访问控制等。
•
客户端与OSS之间进行文件数 据的交互，包括文件I/O锁操作 和数据的读写等。
• LNET责将这些信息送到实际的网络 传输线路中 • PTR-RPC负责处理三部分之间的RPC 请求与应答 • MDS模块将客户端请求进行分发 • 元数据请求交由日志模块Journal处 理，记录元数据操作日志 • 将元数据操作由Fsfilt wrapper模块记 录在后端存储端 • 锁请求交由Ldlm处理，获得文件的 意图锁 • Fsflit定义了一个一般性API，从而将 Lustre特有的请求翻译为后端文件系 统特有的请求
Lustre文件系统简介
• 分布式文件系统主要分为三大类：
– 网络文件系统（瓶颈在存储服务器端）
• NFS、Coda、Sprite LFS
– 存储区域网文件系统（瓶颈在元数据服务器）
• GPFS
– 基于对象的分布式文件系统
• Lustre、Google File System和 HDFS
什么是Lustre
Lustre文件系统逻辑结构
• OST模块主要将来自客户端的请求进行 分发，其中的数据请求交给OBDfilter 模块处理； • OBDfilter模块主要实现Lustre和其运行
平台的高效通信，结合ldiskfs可以提供
应用层一般的文件操作接口 • ldiskfs是Linux ext3和ext4文件系统的超
• (1) 元数据服务器 MDS 分为主从，但是无法在线备份和容错；
• (2) 采用万兆以太网； • (3) 没有采用分片存储，一个文件仅存储在一个 OST 上；
• (4) 存储设备采用廉价的SATA 盘，通过 RAID6 实现数据可靠性。
谢谢！
备份服务器Failover
• Lustre系统中的每个节点(MDS/OST)一般都可以配置备
份服务器 • 两个服务器采用共享磁盘存储的方式来存放数据 • 当服务器或网络连接发生失效时，就会导致客户端数 据访问超时，客户端会查询备份服务器的数据 • 得到信息后，立即将后续的请求重定向到备份服务器
高能所的 Lustre 部署有四个特点：
元数据服务器MDS
• 负责元数据服务，同时管理整个文件系统 的命名空间 • 多个MDS之间共享访问一个MDT • 每个MDT保存文件元数据对象，例如文件名 称、目录结构和访问权限等 • Client通过MDS读取到保存于 MDT 上的元数 据
OSS 和Client
• OSS负责客户端和物理存储之间的交互及数据 的存储 ，向外提供数据的 I/O接口 • 每个OSS管理一个或者多个OST，存储文件数据 对象 • Client通过OSS访问保存在OST上的文件数据 • Client挂载了Lustre文件系统的任意节点，实现 了可移植POSIX文件系统接口 • 用户通过client可以透明的访问整个文件系统 的数据
• OSC模块主要用来与对象存储设备进行 文件数据I/O以及锁服务的交互，每一 个OSC都对应一个OST
Lustre文件系统逻辑结构
Lustre的分布式锁管理者(LDLM)
• 意图锁：用于文件元数据的访问，通过执
行锁的意图减少元数据访问所需的消息传
递次数，从而减少每次操作的延迟
• 范围锁：保护细粒度的文件数据并发访问， 为所有用户提供一致性的文件系视图
Lustre客户端缓存机制
• Lustre在客户端的内存空间开辟一段缓存区，客户 端把首次访问的文件对象保存在自己的高速缓存中， 尽量减少与服务器的交互次数，从而降低网络开销。
• 客户端执行文件读取操作时
– 1.向MDS发送元数据请求，获得元数据信息，并保存到 客户端本地的高速缓存中； – 2.客户端与相应的OST建立连接，将实际的文件数据读 入高速缓存，应用程序再从高速缓存中执行文件读取 操作。
Lustre客户端缓存一致性问题
一致性问题解决方法
• 并发写造成的不一致：
– 采用分布式锁管理机制LDLM，通过对元数据加意图锁， 对数据加范围锁，保证元数据并发操作的一致性 – 对长期占有锁资源的进程，采用锁回调callback机制释 放锁资源
• 读写读造成的不一致：
– 客户端对本地已经缓存过的文件进行再次访问时，仍 需要与MDS进行一次交互获得最新的元数据信息，之后 再和本地缓存的元数据信息进行比对 – 如果一致就从本地缓存中读取文件数据，否则就与相 应的OST建立连接重新获取文件数据
集，用在服务器端，作为底层的本地
文件系统 • 锁请求交由分布式锁管理器Ldlm处理， 获得文件的范围锁
Lustre文件系统逻辑结构
• 客户端节点的Llite模块主要提供与支持 标准可移植POSIX语法的linux的VFS层相 兼容的接口； • 逻辑对象卷LOV模块主要通过其下层的 对象存储客户端OSC为Llite提供对象存 储的API接口； • 元数据客户端MDC模块主要被Llite用来 与元数据服务器进行通信，为用户提供 与各个元数据服务器进行命名空间操作 交互的元数据对象API接口；
• 基于对象存储的分布式文件系统 • 基于廉价的SATA磁盘驱动器构建超大规模存 储集群，不需要专门的硬件支持 • 支持大多数高速网络类型 • 高吞吐量、高扩展性和高性能 • 有效的数据管理机制、全局数据共享、失 效替代和系统可快速配置等功能
tre文件系统体系结构
• • • • • • 元数据服务器 MDS(Meta Data Server) 对象存储服务器 OSS(Object Storage Server) 客户端(Client) 元数据目标设备MDT(Meta Data Target) 对象存储目标设备 OST(Object storage Target) 连接这些组件的高速网络