GPFS简介

前言
GPFS（General Parallel File System）是 IBM 公司推出的行业领先的并行分布式通 用并行集群文件系统，GPFS 从 1993 开始研发，1995 年投入商用（最早投入使用在多媒体处 理行业，所以我们现在看到 GPFS 的很多目录和命令为什么都有 MM[multimedia]两个字母， 就是根据这个背景延续下来的），其中经过了多次版本的改进和修订，到目前(2008)，GPFS 的当前版本为 3.1.
通过 mmchconfig 命令可以修改集群的配置信息
启动 GPFS 启动单节点 mmstartup node1 启动多节点 mmstartup node1,node2 启动所有节点 mmstartup -a 检查节点的状态： mmgetstate –a All nodes should be Active
方案二：
在方案一的基础上，NSD 的可扩展性支持用跨越多个 SAN 的多个存储设备构建文件系统 GPFS 可以自动判断数据访问的最佳路径 每个 IO 服务器提供磁盘访问的冗余保护
方案三：
多集群挂载
GPFS 的安装
准备工作 1）安装所有的集群节点（OS，软件，补丁）和划分共享存储，配置好网络 2）确保集群中涉及到的所有的主机名都可以得到正确的解析（DNS/主机文件） 3）配置好 RSH/SSH 并确保彼此之间通信正常 4）集群中的所有主机的时钟同步（以便于后期的故障处理） 5）根据客户的资源或需求确定连接模式，比如全部采用 SAN 模式还是 NSD 模式（仅 NSD Server 通过 SAN 模式直接连接存储） 6）安装并行 shell 软件，比如 dsh 或 psh 这一步不是必须的 aix 下可以通过安装 csm.dsh fileset 安装 dsh(/opt/csm/bin/dsh ) 设置环境变量$WCOLL 指向所有的节点名 测试 dsh，比如 dsh -v date 软件安装 在所有的 GPFS 集群节点上安装 GPFS 软件，GPFS 软件包由如下组成： gpfs.base-3.1.0-7 gpfs.gpl-3.1.0-7 gpfs.msg.en_US-3.1.0-7 gpfs.docs-3.1.0-7 通过 installp 或 smit 或并行 shell 脚本在全部的节点上安装 GPFS 软件。 定义集群
什么是 GPFS
GPFS（General Parallel File System）是通用并行文件系统的缩写。 GPFS 是一种高性能的、共享磁盘的、分布式文件系统 高性能：GPFS 可以支持 1 个到上千个独立的计算机节点 可以从单个节点管理整个文件 支持 AIX，LINUX 以及混合节点环境 共享磁盘：所有的磁盘可以被所有的节点同等的访问 数据和元数据对节点的访问是相同的 任何直连节点都可以对任何磁盘进行读写 分布式：数据和元数据可以被任何一个节点来处理 所有节点都不需要经由其他节点就可以直接处理数据和元数据 消除了单一节点故障 PS:GPFS 在内部采用了分布式的 token 的管理，通过 token manger Server 的功能来统 一的对数据访问进行授权，对数据的授权可以做到数据块一级。可以保证多个节点对同一个 文件进行修改。
通过 mmcrcluster 命令定义集群
先配置 nodefile,类似如下：
vi /tmp/gpfs/nodefile lpar1:manager-quorum lpar2:manager-quorum lpar3:client lpar4:client 注意：1）一个集群中至少需要一个仲裁（quorum）节点，当一个集群中的仲裁节点少
dataStructureDump /log/mmfs
File systems in cluster : /dev/fsXBB1 /dev/fsXBB2 /dev/gpFS1 /dev/gpFS2 /dev/gpFS2reef /dev/gpFS3 /dev/gpFSreef 通过 mmchcluster 命令可以修改集群的属性
GPFS 是一个共享的磁盘文件系统，集群内的所有节点(NODE)可以并行的访问所有共享 磁盘，并通过分布式的令牌管理机制和条带化技术来管理和优化各个节点的访问。
GPFS 的应用范围非常广泛，从多节点的文件共享服务到大型的高性能计算机群，都可 以看到 GPFS 的优秀表现。GPFS 也应用在众多的企业应用系统中，比如高可用的解决方案： HACMP，ORACLE RAC，SAP 的共享文件系统等，GPFS 在这些应用里面都表现出了出色的性能 和高可用性
4
Number of remote nodes joined in this cluster: 0
Number of quorum nodes defined in the cluster: 4
Number of quorum nodes active in the clu Quorum achieved
GPFS cluster configuration servers: Primary server: Secondary server:
Node number Node name IP address Full node name Remarks 2 c5an03g 192.168.11.3 quorum node 3 c5an04g 192.168.11.4 quorum node 7 c5an08g 192.168.11.8 quorum node 8 c5an09g 192.168.11.9 quorum node 10 c5an02g 192.168.11.2 quorum node 11 c5an07g 192.168.11.7 quorum node 12 c5an06g 192.168.11.6 通过 mmlsconfig 可以看到集群的配置信息
于一半，GPFS 将无法启动。
2）在一个集群中，建议至少要有个配置信息服务器（一个主，一个备）
管理集群
通过 mmlscluster 可以看到集群的信息，比如：
root@c5an02:/root # mmlscluster
GPFS cluster information GPFS cluster name: GPFS cluster id: 13882357959982373825 GPFS UID domain: Remote shell command: /usr/bin/rsh Remote file copy command: /usr/bin/rcp
c5plnx101:~ # mmgetstate -aL -s
Node number Node name
Quorum Nodes up Total nodes GPFS state Remarks
------------------------------------------------------------------------------------
创建 GPFS 磁盘
通过 mmcrnsd 命令完成，需要一个配置文件。
通过 mmlsnsd 命令可以查看 NSD 磁盘
vi /tmp/gpfs/nsdfile root@c5an02:/u/richx/Linux/Scripts/GPFS2.3 # cat gpFS_reef.desc.orig #
quorum quorum
quorum quorum
Summary information
---------------------
Number of nodes defined in the cluster:
7
Number of local nodes active in the cluster:
DiskName:PrimaryServer:BackupServer:DiskUsage:FailureGroup:DesiredName:StoragePool /dev/vpatha:c5an02g:c5an07g::1:c5an02_r1_1 /dev/vpathb:c5an02g:c5an07g::1:c5an02_r1_2 /dev/vpathc:c5an02g:c5an07g::1:c5an02_r1_3 /dev/vpathd:c5an02g:c5an07g::1:c5an02_r1_4 /dev/vpathe:c5an07g:c5an02g::2:c5an07_r1_1 /dev/vpathf:c5an07g:c5an02g::2:c5an07_r1_2 /dev/vpathg:c5an07g:c5an02g::2:c5an07_r1_3 /dev/vpathh:c5an07g:c5an02g: :2:c5an07_r1_4
c5an03:/var/adm/ras # mmlsconfig Configuration data for cluster : clusterName clusterId 13882357959982373825 clusterType lc multinode yes autoload no useDiskLease yes maxFeatureLevelAllowed 805 maxblocksize 1024K pagepool 64M maxFilesToCache 100000
1
c5plnx101e
3
3
7
active
node
2
c5plnx102e
3
3
7
active
node
3
c5plnx103e
0
0
7
down
4
c5plnx104e
3
3
7
active
7
c5plnx107e
0
0
7
down
8
c5plnx108e
3
3