GPFS通用并行文件系统浅析
GPFS技术原理广义介绍
GPFS文件系统分析内容本文从GPFS的特点和应用层面分析其性能提要正文GPFS文件系统分析什么是GPFS文件系统？GPFS（General Parallel File System）是IBM公司开发的高性能集群文件系统，从1998年开始首先应用于AIX集群，2001年后应用于Linux集群。
在集群的环境中，GPFS文件系统允许集群中所有的节点访问同一文件的数据，并提供统一的文件存储空间。
应用可以使用标准的UNIX文件系统接口访问文件的内容。
GPFS支持32位和64位的应用，经过测试的文件系统的大小为100TB。
GPFS可以动态的增加或减少文件系统的容量。
GPFS提供了标准的POSIX应用开发接口，支持缓存方式的I/O（buffered I/O）、同步I/O操作（文件打开时使用O_SYNC或O_DSYNC标示符）、核心级的异步I/O（kernel asynchronous I/O，通过使用异步I/O系统调用实现）和直接I/O（Direct I/O，没有缓存的I/O）。
直接I/O可以在文件级，使用O_DIRECT标识打开文件，也可以在文件系统级使用dio参数挂接文件系统。
直接I/O 的特点是执行I/O操作时忽略文件系统的缓存，这样可以节省处理器的消耗，避免数据从文件系统的缓存拷贝到应用的缓存。
GPFS并行文件系统区别于其他的集群文件系统的特点是，在多个AIX、Linux节点中，为应用提供并发的、高速的文件访问，提供突出的性能，尤其是大数据量的顺序操作，尽管典型的GPFS应用适用于多个节点，但对单个节点也能提供有益的性能。
GPFS文件系统适用于AIX和Linux节点的异构集群从GPFS版本2.2开始，允许集群中同时存在AIX和Linux的节点。
GPFS的AIX版本和GPFS的Linux版本基于同样的源代码，只是适应于不同的硬件环境和不同的操作系统环境。
GPFS使用共享硬盘的模式（Shared Disk Model）GPFS使用共享硬盘的方式，可以通过多种方式实现硬盘的共享：1）基于硬件的SAN结构，集群中的所有节点物理的连接到所有的存储2）使用单独的软件驱动VSD（Virtual Shared Disk），对集群节点体统虚拟的共享硬盘，通过VSD 调度I/O操作3）使用NSD（Network Shared Disk），是由GPFS本身提供的，通过NSD调度I/O操作在VSD或NSD的环境中使用GPFS，为增强GPFS的性能，建议存储和节点之间通过高速的通道互连，增加数据的带宽。
IBM GPFS并行文件系统安装与配置
IBM GPFS文件系统安装与配置目录1概述 (4)1.1IBM GPFS功能介绍 (4)1.2GPFS体系架构介绍 (2)1.3GPFS的优势 (5)2GPFS安装配置步骤 (6)2.1GPFS安装准备 (6)2.2GPFS的安装软件 (6)2.3配置GPFS集群 (6)1概述1.1IBM GPFS功能介绍GPFS (General Parallel File System) 是IBM 公司第一个共享文件系统，起源于IBM SP 系统上使用的虚拟共享磁盘技术( VSD )。
作为这项技术的核心，GPFS 是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统。
而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。
GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。
它提供了许多标准的UNIX 文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。
GPFS 也支持UNIX 文件系统的工具，即：用户可以像使用普通文件系统一样使用基于GPFS 的文件系统，唯一不同的在于管理GPFS 文件系统的命令。
GPFS 提供的文件系统操作服务可以支持并行应用和串行应用，它允许任何节点（这些节点属于同一个节点组）上的并行应用同时访问同一个文件或者不同的文件。
1.2GPFS体系架构介绍GPFS 文件系统基本上由三层架构组成：磁盘，网络共享磁盘（NSD），GPFS 文件设备，如下图所示。
•磁盘GPFS 文件系统最底层的是物理磁盘设备。
原则上可以采用系统上任何块设备，包括磁盘，磁盘分区，逻辑卷。
从物理连接上来看，GPFS 支持使用所有方式连接的磁盘。
包括本地IDE 磁盘，本地SCSI 磁盘，光纤SAN 磁盘，iSCSI 磁盘，等等。
•网络共享磁盘（NSD: network share disk）NSD 是由磁盘映射出来的虚拟设备，NSD 与磁盘是一一对应的关系。
GPFS与其他并行文件系统和并行存储的比较
GPFS Empowers Globally Distributed Teams Low latency access to data from anywhere in the world with Active File Management (AFM) distributed disk caching technology
GPFS Delivers Extreme Performance v. Isilon
Isilon
IBM GPFS
IBM GPFS has been measured to deliver orders of magnitude more in I/O performance improvement to compute clusters
400 MB/s
12 GB/s per GSS x multiple GSSs in parallel
Reason #1 why they lose deals
EMC Isilon is VERY Expensive
Isilon demands very high margins for all its simplicity and ease of useWhen Isilon loses deals it’s because of a) not enough performance and b) lower cost alternativesGSS list pricing is less than half Isilon’s best list pricing and GSS has a much better warranty (3 years onsite for GSS v. 1 year parts for Isilon)Compared to Isilon, you will be able to offer your customer a much faster, scalable, stable and complete storage solution, that’s still simple to deploy, manage, and scale - at a much lower cost then Isilon can
GPFS文件系统介绍
Disk02
Disk03
2005 Technical Support Service
GPFS介绍----与NFS,SAN File System比较
客户端-服务器结构的网络文件系统 客户端 服务器结构的网络文件系统 (NFS, DFS, or AFS): 存在单个服务器”瓶颈” 存在单个服务器”瓶颈” 网络协议导致额外开销
2005 Technical Support Service
GPFS 特点 --- 高可用的文件系统
GPFS是一种日志文件系统，为不同节点建立各自独立的日志。日志种记录 Metadata的分布，一旦节点发生故障后，可以保证快速恢复数据。 GPFS Fail-over功能通过规划，将数据分布到不同Failure Group内达到高可用 性，减少单点故障的影响。为了保证数据可用性，GPFS可以在多个Failure Group内为每个数据实例做备份，即使创建文件系统时没有要求复制，GPFS 也会自动在不同的Failure Group内复制恢复日志。 GPFS对NSD的访问可用通过多路径进行，可用为每个NSD定义一个Primary NSD Server和一个Secondary NSD Server。在SAN环境下，对NSD的访问， 首先通过SAN进行，如果SAN不可访问，则通过网络访问Primary NSD Server， Primary NSD Server再访问NSD。如果Primary NSD Server不可用，则由 Secondary NSD Server完成对NSD的访问。
数据流
LAN
/gpfs1
Host02 Host03 Host04
Disk02
Disk03
2005 Technical Support Service
基于软件架构的双活数据中心建设方案分析
基于软件架构的双活数据中心建设方案分析目录基于软件架构的双活数据中心建设方案分析 (1)第一部分：GPFS (3)一、GPFS并行文件系统 (3)二、基于GPFS技术的应用跨中心双活架构与容灾 (5)第二部分：并行Oracle、并行DB2 (10)一、并行DB (10)二、Oracle RAC (11)三、DB2 PureScale (16)第三部分：整体架构 (23)第四部分：技术难点解决、实施建议 (28)本文来自社区专家分享文章及交流整理，是目前相对全面的基于软件架构的双活数据中心建设方案的比较及分析。
内容包括：GPFS并行文件系统、GPFS的跨中心容灾与双活架构、并行Oracle架构、跨中心并行Oracle架构、并行DB2 PureScale架构和GDPC等，以及常见的软件架构的双活数据中心建设架构之比较分析。
并附针对相关内容的具体难点问题解答及实施建议。
第一部分：GPFS一、GPFS并行文件系统说起GPFS，大家已经比较了解了，这里再次不厌其烦地再介绍一遍---GPFS (General Parallel File System)是 IBM 公司第一个共享文件系统，它是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统。
GPFS 提供的文件系统操作服务可以支持并行应用和串行应用，它允许任何节点上的并行应用同时访问同一个文件或者不同的文件，提供统一命名接口。
既然是并行文件系统，GPFS相对于单一节点和单一文件系统它有以下几个特点：1.文件系统的并发读写：多个节点的同一文件系统，同时受理I/O读写请求，提升文件系统读写的并发性，多个节点均为ACTIVE。
2.文件系统的高可靠性：文件系统的数据可通过日志或复制的方式存在多个副本，并且由于多个节点和多个磁盘的多活特性，可容忍故障节点数或磁盘数提升。
3.文件系统的高性能：通过将文件分布在多个节点和磁盘上，使得文件系统的读写操作分布到多个磁盘上和多个节点上，GPFS可以超越单一节点和单一文件系统的性能极限。
GPFS通用并行文件系统之CentOS上部署GPFS集群
GPFS通用并行文件系统之CentOS上部署GPFS集群GPFS文件系统能够横跨在所有主机上，分布在所有磁盘上，条带化读写，高性能。
信令管理机制，并发性好。
可配置failgroup组，可用性高。
下面是GPFS集群的部署过程......1.环境准备：yum install -y compat-libstdc++-33 rpm-build kernel-headers kernel-devel imake gcc-c++ libstdc++ RedHat-lsb2.GPFS安装：多台服务器都要安装rpm -ivh gpfs.base-3.4.0-0.x86_64.rpmrpm -ivh gpfs.docs-3.4.0-0.noarch.rpmrpm -ivh gpfs.gpl-3.4.0-0.noarch.rpmrpm -ivh gpfs.msg.en_us-3.4.0-0.noarch.rpm[root@Web02_a base]# rpm -qa|grep gpfsgpfs.msg.en_US-3.4.0-0gpfs.gpl-3.4.0-0gpfs.base-3.4.0-0gpfs.docs-3.4.0-03.GPFS升级多台服务器都要安装rpm -Uvhgpfs.base-3.4.0-21.x86_64.update.rpmrpm -Uvh gpfs.docs-3.4.0-21.noarch.rpmrpm -Uvh gpfs.gpl-3.4.0-21.noarch.rpmrpm -Uvh gpfs.msg.en_US-3.4.0-21.noarch.rpm[root@Web02_a update]# rpm -qa|grep gpfsgpfs.gpl-3.4.0-21gpfs.msg.en_US-3.4.0-21gpfs.base-3.4.0-21gpfs.docs-3.4.0-214.编译GPFS源码多台服务器都要安装[root@Web02_a update]# cd/usr/lpp/mmfs/src/[root@Web02_a src]# makeLINUX_DISTRIBUTION=REDHAT_AS_LINUX Autoconfig[root@Web02_a src]# make World[root@Web02_a src]# make InstallImages[root@Web02_a src]# make rpm #生成rpm包，生成路径会有提示[root@Web02_a src]# rpm -ivh/usr/src/redhat/RPMS/x86_64/gpfs.gplbin-2.6.18-308.el5-3.4.0-21.x86_64.rpm [root@Web02_a src]# rpm -qa|grep gpfsgpfs.gpl-3.4.0-21gpfs.msg.en_US-3.4.0-21gpfs.gplbin-2.6.18-308.el5-3.4.0-21gpfs.base-3.4.0-21gpfs.docs-3.4.0-215.配置主机的时间同步如果服务器之间时间不同步，部署GPFS集群时会失败[root@Web02_a src]# crontab -l#time sync by yangrong at 2014-1-24*/10 * * * * /usr/sbin/ntpdate >/dev/null 2>&1[root@Nagios update]# crontab -l#time sync by yangrong at 2014-1-24*/10 * * * * /usr/sbin/ntpdate >/dev/null 2>&16.配置ssh免密钥登陆注：也可以配置rsh免密钥，且gpfs默认是使用rsh密钥登陆远端主机[root@Web02_a src]# cd /root/.ssh/[root@Web02_a .ssh]# ssh-keygen -t rsa[root@Web02_a .ssh]# cp id_rsa.pubauthorized_keys[root@Web02_a .ssh]# ssh Web02_a #登陆自己测试[root@Web02_a .ssh]# cat /etc/hosts10.0.0.243 Nagios10.0.0.236 Web02_a[root@Web02_a .ssh]# scp -r /root/.sshroot@Nagios:/root #把密钥拷贝到其它主机[root@Web02_a .ssh]# ssh NagiosLast login: Fri Jan 24 13:59:19 2014 from192.168.2.53[root@Nagios ~]# exit[root@Nagios src]# ssh Web02_aWarning: Permanently added the RSA host keyfor IP address '10.0.0.236' to the list of known hosts.Last login: Fri Jan 24 15:03:44 2014 fromlocalhost.localdomain[root@Web02_a ~]# exit7.配置GPFS环境变量[root@Web02_a .ssh]# echo 'exportPATH=$PATH:/usr/lpp/mmfs/bin' >>/etc/profile [root@Web02_a .ssh]# source /etc/profile[root@Web02_a .ssh]# mmfsmmfsadm mmfsd mmfsfuncs.Linuxmmfsck mmfsenv mmfsmnthelpmmfsctl mmfsfuncs mmfsmount#接下来的操作只需要在一台服务器上操作即可。
GPFS3.1通用并行文件系统培训资料
lpar1:manager-quorum lpar2:manager-quorum lpar3:client-nonquorum lpar4:client-nonquorum
hdisk5:lpar2:lpar1:dataAndMetadata:: hdisk6:lpar1:lpar2:dataAndMetadata:: hdisk7:lpar2:lpar1:dataAndMetadata:: hdisk8:lpar1:lpar2:dataAndMetadata:: hdisk9:lpar2:lpar1:dataAndMetadata:: hdisk10:lpar1:lpar2:dataAndMetadata::
– 文件放置规则 – 文件迁移规则 – 文件删除规则
Page 14
© 2007 IBM Corporation
GPFS – 信息生命周期管理
基于业务需求的存储池管理
Storage Pool: Tier 2
Joe CEO
Storage Pool: Tier 1
File Placement Policy Filesets SATA
SAN
滚动式升级 混合集群 灵活性, 可集成性 和容量按需应变 在线删除节点和存储 在线增加节点和存储
Page 9 © 2007 IBM Corporation
GPFS工作原理: 高性能
256KB Blocksize
2MB File
Supported Block sizes 16KB, 64KB, 256KB ,512KB 1MB ,2MB ,4MB
LAN LAN LAN
享数据
远程 Mount File Systems /C2FS1 •共享部分数据 /C2FS2 •LAN 或 WAN /C2FS3 /C1FS1
GPFS 通用并行文件系统
IT Infrastructure Solutions
国内案例 －国家气象局
通过6个节点构成GPFS服务器系统 提供给375个节点并行访问 带宽为600MB/s I/O 架设一年以来稳定运行
IT Infrastructure Solutions
国内案例 － 中石化测试
使用Linux内置磁盘进行测试 运行Land Mark软件， NFS系统上没有能生成结果， GPFS上4小时 在中石化测试过程中，得到了线性增长、并行读写能力的 展示
支持的操作系统
–目前支持AIX/Linux/Blue Gene/Windows –支持同一集群内部使用不同的操作系统
IT Infrastructure Solutions
GPFS的优势
性能
–文件存储采用条带化技术，单个文件跨节点和存储系统分布，提高并 发访问性能
–智能预取机制，通过对文件访问模式的预测来进行预取，降低读写延 迟
–分布式的块级锁管理，包括文件和目录两个级别，允许最大程度的并 发访问
–分布式元数据服务器，避免元数据处理成为系统瓶颈 –支持客户端数据缓存，不同节点可以根据需要设置不同的缓存大小 –数据块的大小可自定义，16K, 64K, 256K, 512K, 1M，4M –NSD通信支持InfiniBand高速网络
IT Infrastructure Solutions
GPFS的优势
可扩展性
–最大可支持数千个节点的集群规模和数百GB每秒的IO吞吐量 –在不停止服务的情况下向集群添加和删除节点 –在不停止服务的情况下向文件系统加入和删除磁盘 –在不停止服务的情况下修改文件系统inode数目
IT Infrastructure Solutions
GPFS与NFS,SAN File System系统结构的比较
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
GPFS
通用并行文件系统(General Parallel File System ?C GPFS)将所有的物理资源(包括服务器和磁盘阵列)都视为虚拟文件系统的对象，允许使用者共享分布在多个节点和多个磁盘上的文件。
它允许并行的应用程序同时从GPFS 节点组(nodeset)中的任何节点访问相同或不同的文件(节点组nodeset 被定义为一组运行相同版本GPFS的节点)。
一个GPFS通用并行文件系统可以横跨在群集内的所有主机上，分布在所有磁盘上。
GPFS文件系统在读写文件时采用条带化技术，将数据分成条带并行写入到该GPFS下的所有NSD中。
在有高速数据通道的GPFS配置下，读写文件时可以通过所有主机的光纤通道访问所有的磁盘。
GPFS通用并行文件系统的设计目标是使数据分布在一个集群中的所有节点上，允许应用程序通过标准的UNIX文件系统接口来访问数据。
大多数的UNIX文件系统被设计在单一服务器环境下使用，在这一环境下, 增加文件服务器也不会提高特定的文件存取的性能。
GPFS通过将I/O分布在多个硬盘提高性能，通过日志和复制的方式提高数据的可靠性，通过增加节点和在节点之间由SP Switch互联提高系统的可扩展性。
通过将文件分布在多个节点和磁盘上，GPFS可以超越单一节点和单一文件系统的性能极限。
文件系统能够跨越多个节点和多组磁盘，这些磁盘可以是使用SSA 技术在HACMP 群集里面直接地连接到每个节点上进行物理共享，也可以是由IBM的VSD(Virtual Shared Disk)和SP Switch技术使经过软件进行共享。
GPFS的系统资源可以动态调整，可以在文件系统挂载情况下添加或者删除硬盘。
当处于相对空闲时,用户可以在已配置的硬盘上重新均衡文件系统以提高吞吐量。
可以在不重新启动GPFS服务情况下添加新节点。
GPFS通用并行文件系统还通过用户端的数据缓存，大的文件页的支持(16 kB- 1024 kB)，文件预读和延迟写的功能等技术提高性能，其性能超过网络性文件系统(NFS),分布式文件系统(DFS)和日志文件系统(JFS)。
与这些文件系统不同，GPFS文件系统可以通过在群集或SP系统中增加节点的方式提高性能。
GPFS通用并行文件系统是一种日志文件系统,为不同节点建立各自独立的日志。
日志种记录Metadata的分布,一旦节点发生故障后,可以保证快速恢复数据。
GPFS fail-over功能通过规划,将数据分布到不同failure group内达到高可用性，减少单点故障的影响。
为了保证数据可用性，GPFS在多个failure group内为每个数据实例做备份，即使创建文件系统时没有要求复制，GPFS也会自动在不同的failure group内复制恢复日志。
除了已有的AIX管理文件系统的命令，GPFS还提供简化多节点管理的功能。
一个GPFS多节点命令能作用于集群中所有的节点，并且可以从群集中的任何节点上操作。
这些命令以现有的AIX文件系统命令为基础, 并进行了扩充。
GPFS通用并行文件系统支持X/Open 4.0的文件系统标准,大多数的AIX和UNIX操作系统的应用程序不需要修改，就可以访问GPFS文件系统上的数据。
这些特性使得GPFS文件系统可以替代其他的UNIX文件系统。