IBM GPFS for AIX 5.3
GPFS安装实施和维护
GPFS安装实施和维护2015.10GPFS安装实施和维护AIX下GPFS安装配置及维护邹旭⽬录1.概述 (3)1.1 IBM GPFS功能介绍 (3)1.2 GPFS体系架构介绍 (3)磁盘 (3)⽹络共享磁盘（NSD） (4)GPFS ⽂件设备 (4)连接模式：如下图 (4)1.3 GPFS的优势 (5)2.GPFS安装配置步骤 (5)2.1 GPFS安装准备 (5)2.2 GPFS软件的安装 (6)A. GPFS 软件放在⽬录 (6)B. 升级包 (6)C. 通过SMIT 安装命令进⾏安装和升级 (6)D. 成功的安装完GPFS 之后 (7)E. 添加/etc/environment 的执⾏路径 (7)3.创建GPFS ⼼跳地址 (7)4.配置GPFS集群 (8)4.1 配置节点⽂件 (8)4.2 建⽴GPFS 集群 (8)4.3 确认查看GPFS 集群 (9)4.4 激活GPFS 授权 (9)5 配置GPFS 的共享盘 (10)5.1 建⽴NSD（Network Shared Disk）⽂件 (10) 5.2 ⽣成NSD 盘 (10)5.3确认结果 (11)5.4启动GPFS 系统 (11)6 配置GPFS 的共享⽂件系统 (11)6.1 建⽴GPFS ⽂件系统 (11)6.2 确认⽂件系统 (12)6.3 装载⽂件系统 (13)6.4 建⽴⽬录 (13)7 配置GPFS 的属性 (13)7.1 配置GPFS选项属性 (13)实施结果 (15)8.GPFS管理和维护 (16)8.1主机应⽤的启动顺序 (16)8.2 GPFS的启动和关闭 (16)节点状态 (16)8.3 GPFS 的⽂件系统管理 (17)8.4 GPFS 的集群管理 (17)8.5 GPFS 的磁盘管理 (17)8.6 GPFS的⽇志和安装路径 (18)其他有⽤的GPFS操作 (18)1. 新增⼀个节点 (18)2. 更换硬盘 (18)3. 停掉节点 (19)4. 修改inode数量 (19)5. 清除GPFS (19)1.概述1.1 IBMGPFS功能介绍GPFS (General Parallel File System) 是IBM 公司第⼀个共享⽂件系统，起源于IBM SP 系统上使⽤的虚拟共享磁盘技术( VSD )。
IBM GPFS并行文件系统安装与配置
IBM GPFS文件系统安装与配置目录1概述 (4)1.1IBM GPFS功能介绍 (4)1.2GPFS体系架构介绍 (2)1.3GPFS的优势 (5)2GPFS安装配置步骤 (6)2.1GPFS安装准备 (6)2.2GPFS的安装软件 (6)2.3配置GPFS集群 (6)1概述1.1IBM GPFS功能介绍GPFS (General Parallel File System) 是IBM 公司第一个共享文件系统，起源于IBM SP 系统上使用的虚拟共享磁盘技术( VSD )。
作为这项技术的核心，GPFS 是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统。
而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。
GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。
它提供了许多标准的UNIX 文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。
GPFS 也支持UNIX 文件系统的工具，即：用户可以像使用普通文件系统一样使用基于GPFS 的文件系统，唯一不同的在于管理GPFS 文件系统的命令。
GPFS 提供的文件系统操作服务可以支持并行应用和串行应用，它允许任何节点（这些节点属于同一个节点组）上的并行应用同时访问同一个文件或者不同的文件。
1.2GPFS体系架构介绍GPFS 文件系统基本上由三层架构组成：磁盘，网络共享磁盘（NSD），GPFS 文件设备，如下图所示。
•磁盘GPFS 文件系统最底层的是物理磁盘设备。
原则上可以采用系统上任何块设备，包括磁盘，磁盘分区，逻辑卷。
从物理连接上来看，GPFS 支持使用所有方式连接的磁盘。
包括本地IDE 磁盘，本地SCSI 磁盘，光纤SAN 磁盘，iSCSI 磁盘，等等。
•网络共享磁盘（NSD: network share disk）NSD 是由磁盘映射出来的虚拟设备，NSD 与磁盘是一一对应的关系。
GPFS安装测试记录
******G P F S安装测试记录思创数码科技股份有限公司二零零九年十月********GPFS安装测试小结1.硬件结构配置：本文主要描述基于双DS4800存储、双P570小机的GPFS的集群。
下文所涉及的全部参数设置和配置步骤源于IBM 红皮书《Deploying Oracle 10g RAC on AIX V5 with GPFS》节点使用双IBM P570小机，硬件配置8CPU、32G内存。
存储使用双IBM DS4800存储，存储A（DS4800A）分配数据磁盘、仲裁磁盘个两块、存储B(DS4800B)分配两块数据磁盘一块仲裁磁盘。
网络每节点分别连接到公网和私网，私网用于RAC内部通讯和GPFS数据传输，公网用于实际对外应用接口。
下图是安装测试的基本环境图示。
2.操作系统配置：系统包安装要求bos.adt.basebos.adt.libbos.adt.libmbos.perf.libperfstatbos.perf.perfstatbos.perf.proctoolsrsct.basic.rtepat.clients.rtexlC.aix50.rte 7.0.0.4 or 8.xxxxlC.rte 7.0.0.1 or 8.xxxbos.adt.profabos.cifs_fs（注：由于没有GPFS for aix6.0的官方说明，上面提出的系统包是针对AIX V5.3 系统的，但经过验证GPFS for aix6.0也同样适用）主机信任关系ORACLE RAC和GPFS集群都要求配置SSH或RSH,本文将采用RSH信任方式。
编辑或修改以下文件：_ /etc/hosts_ /etc/hosts.equiv_ Oracle或root 用户的~/.rhosts 文件文件内容大致如下：---------/etc/hosts--------# Public network10.158.116.140 ncst0110.158.116.141 ncst02# GPFS interconnect network192.168.100.1 ncst01-gpfs192.168.100.2 ncst02-gpfs/etc/hosts.equiv和~/.rhosts文件内容ncst01ncst02ncst01-gpfsncst02-gpfs3. GPFS安装配置：IBM的GPFS文件系统提供并行和串行应用。
在文件系统中使用 NFSv4 ACL
在文件系统中使用 NFSv4 ACL 管理 NFSv4 ACL级别： 中级 Samyak Jain , 高级软件工程师, IBM2009 年 7 月 15 日 在不同的文件系统上使用不同的命令管理 NFSv4 ACL 可能很困难。
本文讨论并对比的命令可能你在对不同的文件系统操作时会用到。
使用 NFSv4 ACL 的文件系统NFSv4 (Network File System – Version 4) 协议引入了一种新的 ACL （访问控制列表）格式，这种格式扩展了现有的其他 ACL 格式。
NFSv4 ACL 很容易使用，还引入了更详细的文件安全属性，因此 NFSv4 ACL 更安全。
IBM® AIX®、Sun Solaris 和 Linux® 等操作系统已经在文件系统中实现了 NFSv4 ACL 。
当前，IBM AIX 5L version 5.3 和更高版本中支持 NFSv4 ACL 的文件系统是 NFSv4、JFS2 with EAv2 (Extended Journaled Filesystem with Extended Attributes format version 2) 和 General Parallel Filesystem (GPFS)。
在 Sun Solaris 中，ZFS 支持这种 ACL 模型。
在 RedHat Linux 中，NFSv4 支持 NFSv4 ACL 。
什么是 ACL ？访问控制列表 (ACL) 用来指定文件系统对象（比如文件和目录）的访问权限。
它是由许多访问控制项 (ACE) 组成的列表，每个访问控制项定义一个用户或组及其权限。
关于 ZFS ACLSun 通过 Solaris 10 操作系统补丁包引入了 ZFS 文件系统。
ZFS 支持 NFSv4 ACL 模型，并通过现有的 ls 和 chmod 命令的新选项实现了相关命令。
AIX 性能调优
IBM TRAINING®A26AIX Performance TuningJaqui LynchLas Vegas, NVAIX Performance TuningUpdated Presentation will be at:/papers/pseries-a26-aug06.pdfJaqui LynchSenior Systems EngineerMainline Information SystemsAgenda•AIX v5.2 versus AIX v5.3•32 bit versus 64 bit •Filesystem Types•DIO and CIO•AIX Performance Tunables •Oracle Specifics •Commands•ReferencesNew in AIX 5.2•P5support•JFS2•Large Page support (16mb)•Dynamic LPAR•Small Memory Mode–Better granularity in assignment of memory to LPARs •CuOD•xProfiler•New Performance commands–vmo, ioo, schedo replace schedtune and vmtune •AIX 5.1 Status–Will not run on p5 hardware–Withdrawn from marketing end April 2005–Support withdrawn April 2006AIX 5.3•New in5.3–With Power5 hardware•SMT•Virtual Ethernet•With APV–Shared Ethernet–Virtual SCSI Adapter–Micropartitioning–PLMAIX 5.3•New in5.3–JFS2 Updates•Improved journaling•Extent based allocation•1tb filesystems and files with potential of 4PB•Advanced Accounting•Filesystem shrink for JFS2•Striped Columns–Can extend striped LV if a disk fills up•1024 disk scalable volume group–1024 PVs, 4096 LVs, 2M pps/vg•Quotas•Each VG now has its own tunable pbuf pool–Use lvmo commandAIX 5.3•New in5.3–NFSv4 Changes•ACLs–NIM enhancements•Security•Highly available NIM•Post install configuration of Etherchannel and Virtual IP –SUMA patch tool–Last version to support 32 bit kernel–MP kernel even on a UP–Most commands changed to support LPAR stats–Forced move from vmtune to ioo and vmo–Page space scrubbing–Plus lots and lots of other things32 bit versus 64 bit•32 Bit•Up to 96GB memory •Uses JFS for rootvg •Runs on 32 or 64 bit hardware •Hardware all defaults to 32 bit•JFS is optimized for 32 bit• 5.3 is last version of AIX with 32 bit kernel •64 bit•Allows > 96GB memory •Current max is 256GB (arch is 16TB) except 590/595 (1TB & 2TB)•Uses JFS2 for rootvg •Supports 32 and 64 bit apps•JFS2 is optimized for 64 bitFilesystem Types•JFS•2gb file max unless BF •Can use with DIO •Optimized for 32 bit •Runs on 32 bit or 64 bit •Better for lots of small file creates and deletes •JFS2•Optimized for 64 bit •Required for CIO •Can use DIO•Allows larger file sizes •Runs on 32 bit or 64 bit •Better for large files and filesystemsGPFSClustered filesystemUse for RACSimilar to CIO –noncached, nonblocking I/ODIO and CIO•DIO–Direct I/O–Around since AIX v5.1–Used with JFS–CIO is built on it–Effectively bypasses filesystem caching to bring data directlyinto application buffers–Does not like compressed JFS or BF (lfe) filesystems•Performance will suffer due to requirement for 128kb I/O –Reduces CPU and eliminates overhead copying data twice–Reads are synchronous–Bypasses filesystem readahead–Inode locks still used–Benefits heavily random access workloadsDIO and CIO•CIO–Concurrent I/O–Only available in JFS2–Allows performance close to raw devices–Use for Oracle dbf and control files, and online redo logs,not for binaries–No system buffer caching–Designed for apps (such as RDBs) that enforce writeserialization at the app–Allows non-use of inode locks–Implies DIO as well–Benefits heavy update workloads–Not all apps benefit from CIO and DIO –some arebetter with filesystem caching and some are saferthat wayPerformance Tuning•CPU–vmstat, ps, nmon•Network–netstat, nfsstat, no, nfso•I/O–iostat, filemon, ioo, lvmo•Memory–lsps, svmon, vmstat, vmo, iooNew tunables•Old way–Create rc.tune and add to inittab•New way–/etc/tunables•lastboot•lastboot.log•Nextboot–Use –p –o options–ioo–p –o options–vmo–p –o options–no –p –o options–nfso–p –o options–schedo-p –o optionsTuneables1/3•minperm%–Value below which we steal from computational pages -default is 20%–We lower this to something like 5%, depending on workload•Maxperm%–default is 80%–This is a soft limit and affects ALL file pages (including those in maxclient)–Value above which we always steal from persistent–Be careful as this also affects maxclient–We no longer tune this –we use lru_file_repage instead–Reducing maxperm stops file caching affecting programs that are running•maxclient–default is 80%–Must be less than or equal to maxperm–Affects NFS, GPFS and JFS2–Hard limit by default–We no longer tune this –we use lru_file_repage instead•numperm–This is what percent of real memory is currently being used for caching ALL file pages •numclient–This is what percent of real memory is currently being used for caching GPFS, JFS2 and NFS •strict_maxperm–Set to a soft limit by default –leave as is•strict_maxclient–Available at AIX 5.2 ML4–By default it is set to a hard limit–We used to change to a soft limit –now we do notTuneables2/3•maxrandwrt–Random write behind–Default is 0 –try 32–Helps flush writes from memory before syncd runs•syncd runs every 60 seconds but that can be changed–When threshhold reached all new page writes are flushed to disk–Old pages remain till syncd runs•Numclust–Sequential write behind–Number of 16k clusters processed by write behind•J2_maxRandomWrite–Random write behind for JFS2–On a per file basis–Default is 0 –try 32•J2_nPagesPerWriteBehindCluster–Default is 32–Number of pages per cluster for writebehind•J2_nRandomCluster–JFS2 sequential write behind–Distance apart before random is detected•J2_nBufferPerPagerDevice–Minimum filesystem bufstructs for JFS2 –default 512, effective at fs mountTuneables3/3•minpgahead, maxpgahead, J2_minPageReadAhead & J2_maxPageReadAhead–Default min =2 max = 8–Maxfree–minfree>= maxpgahead•lvm_bufcnt–Buffers for raw I/O. Default is 9–Increase if doing large raw I/Os (no jfs)•numfsbufs–Helps write performance for large write sizes–Filesystem buffers•pv_min_pbuf–Pinned buffers to hold JFS I/O requests–Increase if large sequential I/Os to stop I/Os bottlenecking at the LVM–One pbuf is used per sequential I/O request regardless of the number of pages–With AIX v5.3 each VG gets its own set of pbufs–Prior to AIX 5.3 it was a system wide setting•sync_release_ilock–Allow sync to flush all I/O to a file without holding the i-node lock, and then use the i-node lock to do the commit.–Be very careful –this is an advanced parameter•minfree and maxfree–Used to set the values between which AIX will steal pages–maxfree is the number of frames on the free list at which stealing stops (must be >=minfree+8)–minfree is the number used to determine when VMM starts stealing pages to replenish the free list–On a memory pool basis so if 4 pools and minfree=1000 then stealing starts at 4000 pages– 1 LRUD per pool, default pools is 1 per 8 processors•lru_file_repage–Default is 1 –set to 0–Available on >=AIX v5.2 ML5 and v5.3–Means LRUD steals persistent pages unless numperm< minperm•lru_poll_interval–Set to10–Improves responsiveness of the LRUD when it is runningNEW Minfree/maxfree•On a memory pool basis so if 4 pools andminfree=1000 then stealing starts at 4000pages•1 LRUD per pool•Default pools is 1 per 8 processors•Cpu_scale_memp can be used to changememory pools•Try to keep distance between minfree andmaxfree<=1000•Obviously this may differvmstat -v•26279936 memory pages•25220934 lruable pages•7508669 free pages• 4 memory pools•3829840 pinned pages•80.0 maxpin percentage•20.0 minperm percentage•80.0 maxperm percentage•0.3 numperm percentage All filesystem buffers•89337 file pages•0.0 compressed percentage•0 compressed pages•0.1 numclient percentage Client filesystem buffers only•80.0 maxclient percentage•28905 client pages•0 remote pageouts scheduled•280354 pending disk I/Os blocked with no pbuf LVM –pv_min_pbuf •0 paging space I/Os blocked with no psbuf VMM –fixed per page dev •2938 filesystem I/Os blocked with no fsbuf numfsbufs•7911578 client filesystem I/Os blocked with no fsbuf•0 external pager filesystem I/Os blocked with no fsbuf j2_nBufferPerPagerDevice •Totals since boot so look at 2 snapshots 60 seconds apart•pbufs, psbufs and fsbufs are all pinnedno -p -o rfc1323=1no -p -o sb_max=1310720no -p -o tcp_sendspace=262144no -p -o tcp_recvspace=262144no -p -o udp_sendspace=65536no -p -o udp_recvspace=655360nfso -p -o nfs_rfc1323=1nfso -p -o nfs_socketsize=60000nfso -p -o nfs_tcp_socketsize=600000vmo -p -o minperm%=5vmo -p -o minfree=960vmo -p -o maxfree=1088vmo -p -o lru_file_repage=0vmo -p -o lru_poll_interval=10ioo -p -o j2_maxPageReadAhead=128ioo -p -o maxpgahead=16ioo -p -o j2_maxRandomWrite=32ioo -p -o maxrandwrt=32ioo -p -o j2_nBufferPerPagerDevice=1024ioo -p -o pv_min_pbuf=1024ioo -p -o numfsbufs=2048ioo -p -o j2_nPagesPerWriteBehindCluster=32Increase the following if using raw LVMs (default is 9)Ioo –p –o lvm_bufvnt=12Starter Set of tunablesNB please test these before putting intoproduction vmstat -IIGNORE FIRST LINE -average since bootRun vmstat over an interval (i.e. vmstat 2 30)System configuration: lcpu=24 mem=102656MB ent=0kthr memory page faults cpu---------------------------------------------------------------------------r b avm fre re pi po fr sr cy in sy cs us sy id wa pc ec 56 1 18637043 7533530 0 0 0 0 0 0 4298 24564 986698 2 0 0 12.00 100.057 1 18643753 7526811 0 0 0 0 0 0 3867 25124 9130 98 2 0 0 12.00 100.0System configuration: lcpu=8 mem=1024MB ent=0.50kthr memory page faults cpu------------------------------------------------------------------------------r b p avm fre fi fo pi po fr sr in sy cs us sy id wa pc ec1 1 0 170334 968 96 163 0 0 190 511 11 556 662 1 4 90 5 0.03 6.81 1 0 170334 1013 53 85 0 0 107 216 7 268 418 02 92 5 0.02 4.4Pc = physical processors consumed –if using SPPEc = %entitled capacity consumed –if using SPPFre may well be between minfree and maxfreefr:sr ratio 1783:2949 means that for every 1783 pages freed 2949 pages had to be examined. ROT was 1:4 –may need adjustingTo get a 60 second average try: vmstat 60 2Memory and I/O problems•iostat–Look for overloaded disks and adapters•vmstat•vmo and ioo(replace vmtune)•sar•Check placement of JFS and JFS2 filesystems and potentially the logs•Check placement of Oracle or database logs•fileplace and filemon•Asynchronous I/O•Paging•svmon–svmon-G >filename•nmon•Check error logsioo Output•lvm_bufcnt= 9•minpgahead= 2•maxpgahead= 8•maxrandwrt = 32 (default is 0)•numclust= 1•numfsbufs= 186•sync_release_ilock= 0•pd_npages= 65536•pv_min_pbuf= 512•j2_minPageReadAhead = 2•j2_maxPageReadAhead = 8•j2_nBufferPerPagerDevice = 512•j2_nPagesPerWriteBehindCluster = 32•j2_maxRandomWrite = 0•j2_nRandomCluster = 0vmo OutputDEFAULTS maxfree= 128 minfree= 120 minperm% = 20 maxperm% = 80 maxpin% = 80 maxclient% = 80 strict_maxclient = 1 strict_maxperm = 0OFTEN SEEN maxfree= 1088 minfree= 960 minperm% = 10 maxperm% = 30 maxpin% = 80 Maxclient% = 30 strict_maxclient = 0 strict_maxperm = 0numclient and numperm are both 29.9So numclient-numperm=0 aboveMeans filecaching use is probably all JFS2/NFS/GPFSRemember to switch to new method using lru_file_repageiostatIGNORE FIRST LINE -average since bootRun iostat over an interval (i.e. iostat2 30)tty: tin tout avg-cpu: % user % sys % idle % iowait physc% entc0.0 1406.0 93.1 6.9 0.0 0.012.0 100.0Disks: % tm_act Kbps tps Kb_read Kb_wrtn hdisk1 1.0 1.5 3.0 0 3hdisk0 6.5 385.5 19.5 0 771hdisk14 40.5 13004.0 3098.5 12744 13264 hdisk7 21.0 6926.0 271.0 440 13412 hdisk15 50.5 14486.0 3441.5 13936 15036 hdisk17 0.0 0.00.00 0iostat–a AdaptersSystem configuration: lcpu=16 drives=15tty: tin tout avg-cpu: % user % sys % idle % iowait0.4 195.3 21.4 3.3 64.7 10.6Adapter: Kbps tps Kb_read Kb_wrtnfscsi1 5048.8 516.9 1044720428 167866596Disks: % tm_act Kbps tps Kb_read Kb_wrtn hdisk6 23.4 1846.1 195.2 381485286 61892408 hdisk9 13.9 1695.9 163.3 373163554 34143700 hdisk8 14.4 1373.3 144.6 283786186 46044360 hdisk7 1.1 133.5 13.8 628540225786128 Adapter: Kbps tps Kb_read Kb_wrtnfscsi0 4438.6 467.6 980384452 85642468Disks: % tm_act Kbps tps Kb_read Kb_wrtn hdisk5 15.2 1387.4 143.8 304880506 28324064 hdisk2 15.5 1364.4 148.1 302734898 24950680 hdisk3 0.5 81.4 6.8 3515294 16043840 hdisk4 15.8 1605.4 168.8 369253754 16323884 iostat-DExtended Drive Reporthdisk3 xfer: %tm_act bps tps bread bwrtn0.5 29.7K 6.8 15.0K 14.8Kread: rps avgserv minserv maxserv timeouts fails29.3 0.1 0.1784.5 0 0write: wps avgserv minserv maxserv timeouts fails133.6 0.0 0.3 2.1S 0 0 wait: avgtime mintime maxtime avgqsz qfull0.0 0.00.2 0.0 0iostat Otheriostat-A async IOSystem configuration: lcpu=16 drives=15aio: avgc avfc maxg maif maxr avg-cpu: % user % sys % idle % iowait150 0 5652 0 12288 21.4 3.3 64.7 10.6Disks: % tm_act Kbps tps Kb_read Kb_wrtnhdisk6 23.4 1846.1 195.2 381485298 61892856hdisk5 15.2 1387.4 143.8 304880506 28324064hdisk9 13.9 1695.9 163.3 373163558 34144512iostat-m pathsSystem configuration: lcpu=16 drives=15tty: tin tout avg-cpu: % user % sys % idle % iowait0.4 195.3 21.4 3.3 64.7 10.6Disks: % tm_act Kbps tps Kb_read Kb_wrtnhdisk0 1.6 17.0 3.7 1190873 2893501Paths: % tm_act Kbps tps Kb_read Kb_wrtnPath0 1.6 17.0 3.7 1190873 2893501lvmo•lvmo output••vgname= rootvg(default but you can change with –v)•pv_pbuf_count= 256–Pbufs to add when a new disk is added to this VG •total_vg_pbufs= 512–Current total number of pbufs available for the volume group.•max_vg_pbuf_count= 8192–Max pbufs that can be allocated to this VG•pervg_blocked_io_count= 0–No. I/O's blocked due to lack of free pbufs for this VG •global_pbuf_count= 512–Minimum pbufs to add when a new disk is added to a VG •global_blocked_io_count= 46–No. I/O's blocked due to lack of free pbufs for all VGslsps–a(similar to pstat)•Ensure all page datasets the same size although hd6 can be bigger -ensure more page space than memory–Especially if not all page datasets are in rootvg–Rootvg page datasets must be big enough to hold the kernel •Only includes pages allocated (default)•Use lsps-s to get all pages (includes reserved via early allocation (PSALLOC=early)•Use multiple page datasets on multiple disks –Parallelismlsps outputlsps-aPage Space Physical Volume Volume Group Size %Used Active Auto Typepaging05 hdisk9 pagvg01 2072MB 1 yes yes lvpaging04 hdisk5 vgpaging01 504MB 1 yes yes lvpaging02 hdisk4 vgpaging02 168MB 1 yes yes lvpaging01 hdisk3 vgpagine03 168MB 1 yes yes lvpaging00 hdisk2 vgpaging04 168MB 1 yes yes lvhd6 hdisk0 rootvg512MB 1 yes yes lvlsps-sTotal Paging Space Percent Used3592MB 1%Bad Layout aboveShould be balancedMake hd6 the biggest by one lp or the same size as the others in a mixedenvironment like thisSVMON Terminology•persistent–Segments used to manipulate files and directories •working–Segments used to implement the data areas of processesand shared memory segments•client–Segments used to implement some virtual file systems likeNetwork File System (NFS) and the CD-ROM file system•/infocenter/pseries/topi c/com.ibm.aix.doc/cmds/aixcmds5/svmon.htmsvmon-Gsize inuse free pin virtualmemory 26279936 18778708 7501792 3830899 18669057pg space 7995392 53026work pers clnt lpagepin 3830890 0 0 0in use 18669611 80204 28893 0In GB Equates to:size inuse free pin virtualmemory 100.25 71.64 28.62 14.61 71.22pg space 30.50 0.20work pers clnt lpagepin 14.61 0 0 0in use 71.22 0.31 0.15 0General Recommendations•Different hot LVs on separate physical volumes•Stripe hot LV across disks to parallelize•Mirror read intensive data•Ensure LVs are contiguous–Use lslv and look at in-band % and distrib–reorgvg if needed to reorg LVs•Writeverify=no•minpgahead=2, maxpgahead=16 for 64kb stripe size•Increase maxfree if you adjust maxpgahead•Tweak minperm, maxperm and maxrandwrt•Tweak lvm_bufcnt if doing a lot of large raw I/Os•If JFS2 tweak j2 versions of above fields•Clean out inittab and rc.tcpip and inetd.conf, etc for things that should not start–Make sure you don’t do it partially–i.e. portmap is in rc.tcpip and rc.nfsOracle Specifics•Use JFS2 with external JFS2 logs(if high write otherwise internal logs are fine)•Use CIO where it will benefit you–Do not use for Oracle binaries•Leave DISK_ASYNCH_IO=TRUE in Oracle•Tweak the maxservers AIO settings•If using JFS–Do not allocate JFS with BF (LFE)–It increases DIO transfer size from 4k to 128k–2gb is largest file size–Do not use compressed JFS –defeats DIOTools•vmstat –for processor and memory•nmon–/collaboration/wiki/display/WikiPtype/nmon–To get a 2 hour snapshot (240 x 30 seconds)–nmon-fT-c 30 -s 240–Creates a file in the directory that ends .nmon•nmon analyzer–/collaboration/wiki/display/WikiPtype/nmonanalyser–Windows tool so need to copy the .nmon file over–Opens as an excel spreadsheet and then analyses the data•sar–sar-A -o filename 2 30 >/dev/null–Creates a snapshot to a file –in this case 30 snaps 2 seconds apart •ioo, vmo, schedo, vmstat–v•lvmo•lparstat,mpstat•Iostat•Check out Alphaworks for the Graphical LPAR tool•Many many moreOther tools•filemon–filemon -v -o filename -O all–sleep 30–trcstop•pstat to check async I/O–pstat-a | grep aio| wc–l•perfpmr to build performance info forIBM if reporting a PMR–/usr/bin/perfpmr.sh300lparstatlparstat-hSystem Configuration: type=shared mode=Uncapped smt=On lcpu=4 mem=512 ent=5.0 %user %sys %wait %idle physc%entc lbusy app vcsw phint%hypv hcalls0.0 0.5 0.0 99.5 0.00 1.0 0.0 -1524 0 0.5 154216.0 76.3 0.0 7.7 0.30 100.0 90.5 -321 1 0.9 259Physc–physical processors consumed%entc–percent of entitled capacityLbusy–logical processor utilization for system and userVcsw–Virtual context switchesPhint–phantom interrupts to other partitions%hypv-%time in the hypervisor for this lpar–weird numbers on an idle system may be seen/infocenter/pseries/index.jsp?topic=/com.ibm.aix.doc/cmds/aixcmds3/lparstat.htmmpstatmpstat–sSystem configuration: lcpu=4 ent=0.5Proc1Proc00.27%49.63%cpu0cpu2cpu1cpu30.17%0.10% 3.14%46.49%Above shows how processor is distributed using SMTAsync I/OTotal number of AIOs in usepstat–a | grep aios| wc–lOr new way is:ps–k | grep aio| wc-l4205AIO max possible requestslsattr –El aio0 –a maxreqsmaxreqs4096 Maximum number of REQUESTS TrueAIO maxserverslsattr –El aio0 –a maxserversmaxservers 320 MAXIMUM number of servers per cpu TrueNB –maxservers is a per processor setting in AIX 5.3Look at using fastpathFastpath can now be enabled with DIO/CIOSee Session A23 by Grover Davidson for a lot more info on Async I/OI/O Pacing•Useful to turn on during backups (streaming I/Os)•Set high value to multiple of (4*n)+1•Limits the number of outstanding I/Osagainst an individual file•minpout–minimum•maxpout–maximum•If process reaches maxpout then it issuspended from creating I/O untiloutstanding requests reach minpoutNetwork•no –a & nfso-a to find what values are set to now•Buffers–Mbufs•Network kernel buffers•thewall is max memory for mbufs•Can use maxmbuf tuneable to limit this or increase it–Uses chdev–Determines real memory used by communications–If 0 (default) then thewall is used–Leave it alone–TCP and UDP receive and send buffers–Ethernet adapter attributes•If change send and receive above then also set it here–no and nfso commands–nfsstat–rfc1323 and nfs_rfc1323netstat•netstat–i–Shows input and output packets and errors foreach adapter–Also shows collisions•netstat–ss–Shows summary info such as udp packets droppeddue to no socket•netstat–m–Memory information•netstat–v–Statistical information on all adaptersNetwork tuneables•no -a•Using no–rfc1323 = 1–sb_max=1310720(>= 1MB)–tcp_sendspace=262144–tcp_recvspace=262144–udp_sendspace=65536(at a minimum)–udp_recvspace=655360•Must be less than sb_max•Using nfso–nfso-a–nfs_rfc1323=1–nfs_socketsize=60000–nfs_tcp_socketsize=600000•Do a web search on “nagle effect”•netstat–s | grep“socket buffer overflow”nfsstat•Client and Server NFS Info •nfsstat–cn or –r or –s–Retransmissions due to errors•Retrans>5% is bad–Badcalls–Timeouts–Waits–ReadsUseful Links• 1. Ganglia–• 2. Lparmon–/tech/lparmon• 3. Nmon–/collaboration/wiki/display/WikiPtype/nmon• 4. Nmon Analyser–/collaboration/wiki/display/WikiPtype/nmonanalyser • 5. Jaqui's AIX* Blog–Has a base set of performance tunables for AIX 5.3 /blosxomjl.cgi/• 6. vmo command–/infocenter/pseries/v5r3/index.jsp?topic=/com.ibm.aix.doc/cmds/aixcmds6/vmo.htm •7. ioo command–/infocenter/pseries/v5r3/index.jsp?topic=/com.ibm.aix.doc/cmds/aixcmds3/ioo.htm •8. vmstat command–/infocenter/pseries/v5r3/index.jsp?topic=/com.ibm.aix.doc/cmds/aixcmds3/ioo.htm •9. lvmo command–/infocenter/pseries/v5r3/index.jsp?topic=/com.ibm.aix.doc/cmds/aixcmds3/ioo.htm •10. eServer Magazine and AiXtra–/•Search on Jaqui AND Lynch•Articles on Tuning and Virtualization•11. Find more on Mainline at:–/ebrochureQuestions?Supplementary SlidesDisk Technologies•Arbitrated–SCSI20 or 40 mb/sec–FC-AL 100mb/sec–Devices arbitrate for exclusive control–SCSI priority based on address •Non-Arbitrated–SSA80 or 160mb/sec–Devices on loop all treated equally–Devices drop packets of data on loopAdapter Throughput-SCSI100%70%Bits Maxmby/s mby/s Bus DevsWidth •SCSI-15 3.588•Fast SCSI10788•FW SCSI20141616•Ultra SCSI201488•Wide Ultra SCSI 4028168•Ultra2 SCSI402888•Wide Ultra2 SCSI80561616•Ultra3 SCSI1601121616•Ultra320 SCSI3202241616•Ultra640 SCSI6404481616•Watch for saturated adaptersCourtesy of /terms/scsiterms.htmlAdapter Throughput-Fibre100%70%mbit/s mbit/s•13393•266186•530371• 1 gbit717• 2 gbit1434•SSA comes in 80 and 160 mb/secRAID Levels•Raid-0–Disks combined into single volume stripeset–Data striped across the disks•Raid-1–Every disk mirrored to another–Full redundancy of data but needs extra disks–At least 2 I/Os per random write•Raid-0+1–Striped mirroring–Combines redundancy and performanceRAID Levels•RAID-5–Data striped across a set of disks–1 more disk used for parity bits–Parity may be striped across the disks also–At least 4 I/Os per random write(read/write to data and read/write toparity)–Uses hot spare technology。
IBM--AIX命令
IBM pSeries服务器AIX系统的常用命令1.如何移动与重命名文件?要将文件和目录从一个目录移动到另一个目录，或重命名一个文件或目录，使用mv 命令。
如果将一个文件或目录移动到新的目录而不指定新的名字，则其保留原来的名字。
注意: 如果不指定-i 标志，mv 命令可能会覆盖许多已存在的文件。
-i 标志会在覆盖文件之前提示确认。
而-f 标志则不会提示确认。
如果一起指定了-f 和-i 两个标志，则后一个指定的标志优先。
以下是如何使用mv 命令的示例：1.要将文件移动到另一个目录并给它一个新名字，请输入：# mv intro manual/chap1按下Enter 键。
该命令将intro 文件移动到manual/chap1 目录。
名字intro 从当前目录被除去，同样的文件在manual 目录中以chap1 的名字出现。
2.要将文件移动到另一个目录，且不改变名字，请输入：# mv chap3 manual按下Enter 键。
该命令将chap3 移动到manual/chap3。
用mv 命令重命名文件可以使用mv 命令改变文件的名字而不将其移动到另一目录。
3.要重命名文件，请输入：# mv appendix apndx.a按下Enter 键。
该命令将appendix 文件重命名为apndx.a。
如果名为apndx.a 的文件已存在，则旧的内容被appendix 文件的内容替换。
2.如何在系统中移动或者重命名目录?如果需要移动或者重命名目录，可以在系统中使用mvdir 命令。
例如，如果需要移动目录，可以在命令行中输入下面的命令：# mvdir book manual然后按下Enter（回车）键。
如果manual 目录在系统中已经存在，则上面的命令会将book 目录移动到名为manual 的目录下面。
否则，book 目录会被重新命名为manual。
例如，如果需要移动和重命名目录，请在命令行中输入下面的命令：# mvdir book3 proj4/manual然后按下Enter（回车）键。
4-在IBM小型机P55A安装和配置HACMP操作步骤
在IBM小型机P55A安装和配置HACMP操作步骤操作环境：硬件：IBM P55A 小型机（3块硬盘U320 72.4G）阵列卡：PCI-X SCSI 阵列卡光盘：HACMP for AIX 5L,V5.3操作系统：IBM AIX5.3操作目标：利用HACMP安装光盘，在小型机上安装HACMP并进行配置以实现系统双机功能操作步骤第1步：在2台主机上安装HACMP1．# smitty inst2．在“Install and Update Software”界面中，选择第一项“Install Software”并回车3．在“Install Software”界面中，在选项“INPUT device / directory for software”上按“F4”，在列表中选择设备“/dev/cd0”并回车4．在“Install Software”界面中，在“Sofeware to install”选项上按“F4”选择所需安装的软件包，在需要安装的软件包上按“F7”来进行选择。
安装HACMP除2个软件包：Cluster.hativoliCluster.haview外都需选择安装,选择完成后回车5．在“Install Software”界面中进行设置，选项“Commit software updates”选择“No”，选项“Save replace files”选择“Yes”，选项“accept new licences agreement”选择“Yes”，然后回车进行HACMP的安装6．在“COMMAND STA TUS”界面，观察左上角“Command”状态，变为“OK”表示安装成功，完成后按“F10”退出备注：安装完AIX操作系统并打上相应的补丁后，接着安装HACMP安装可能会提示失败，那只是有部分包装不上的原因，但并不影响HA。
7．HACMP安装完成！安装完成后需要重新启动计算机！# shutdown –Fr第2步：为2台主机配置IP地址1．# smitty tcpip2．在“TCP/IP”界面选择第一项“Minimum Cofiguration a Startup”并回车，在出现的选项框中选择网卡所在的端口（实例中网卡所在端口为en0和en3）并回车3．在“Minium Configuration & Startup”界面中进行设置，HOSTNAME [Test1] --自定义Node名称Internet ADDRESS（dotted decimal）[192.168.10.121] --根据实际IP输入Network MASK（dotted decimal）[255.255.255.0]STRAT Now yes设置完成后回车4．在“COMMAND STA TUS”界面，观察左上角“Command”状态，变为“OK”表示设置成功，完成后按“F10”退出5．重复前4点分别设置en3和另一个主机（Test2）上的网卡（en0，en3），网卡全部设置好后，IP设置完成第3步：在2台主机上修改hosts文件1．＃vi /etc/hosts2．用方向键移动光标，找到“loopback localhost”在其后面输入刚在设置IP步骤中定义的主机（Test1）名称，然后分别输入2个主机的IP地址，别名，主机名和Sevice IP的IP和别名，修改后文件应如下图3．在另一台主机（Test2）上重复以上2步，除“loopback localhost”后的自定义主机名不同，2个文件应完全一致。
IBM-AIX小型机常用指令
IBM－AIX小型机常用指令1. 小型机系统软件安装：1.放入AIX 5L光盘到服务器中，修改bootlist用光盘引导，可两台机同时安装。
#bootlist -m normal hdisk1 cd2.重启后，按提示new paging space=1024M3.smitty easy_install，在file bundle中选安装server，装完后再选CDE，APP-DEV主要是这三个,最好把file bundle全装完。
4.smitty chjfs修改一下文件系统的大小。
5.smitty tcpip,smitty chinet设主机名，IP地址。
smitty hacmp--- Cluster Configuration--- Cluster Topology--- Configure Networks改双机的IP信息6.smitty ssaraid做磁盘阵列。
7.启动双机smitty clstart(或clstop)8.查看或更改双机互备信息smitty hacmp9.备份到磁带[1]把文件备份到磁带上:tar -cv /dev/rmt1 [filename]smitty lvm中savevg,恢复用restvg -f /dev/rmt1 hdisk2[2]查看磁带上的内容tar -tvf /dev/rmt1[3]恢复磁带内容到当前缺省目录下tar -xvf /dev/rmt1[4]定义磁带压缩模式(20G/40G)smitty tape2. 主机投用后，smitty hacmp投入双机先在主机上通过smitty hacmpy 启动主机上的双机，启动后再在副机上通过smitty hacmpy 启动副机上的双机。
监视双机运行状态：tail -f /tmp/hacmp.out3. 双机启动后启动主机上的数据库a) 切换到oracle用户下#su – oracleb) 启动机器上的所需的数据库，dbstart批处理文件在oracle/OraHome1/bin/ 路径下$dbstart4. 磁带备份：1. 数据库冷备份，此时所有的数据库要停下。
GPFS文件系统介绍
Disk02
Disk03
2005 Technical Support Service
GPFS介绍----与NFS,SAN File System比较
客户端-服务器结构的网络文件系统 客户端 服务器结构的网络文件系统 (NFS, DFS, or AFS): 存在单个服务器”瓶颈” 存在单个服务器”瓶颈” 网络协议导致额外开销
2005 Technical Support Service
GPFS 特点 --- 高可用的文件系统
GPFS是一种日志文件系统，为不同节点建立各自独立的日志。日志种记录 Metadata的分布，一旦节点发生故障后，可以保证快速恢复数据。 GPFS Fail-over功能通过规划，将数据分布到不同Failure Group内达到高可用 性，减少单点故障的影响。为了保证数据可用性，GPFS可以在多个Failure Group内为每个数据实例做备份，即使创建文件系统时没有要求复制，GPFS 也会自动在不同的Failure Group内复制恢复日志。 GPFS对NSD的访问可用通过多路径进行，可用为每个NSD定义一个Primary NSD Server和一个Secondary NSD Server。在SAN环境下，对NSD的访问， 首先通过SAN进行，如果SAN不可访问，则通过网络访问Primary NSD Server， Primary NSD Server再访问NSD。如果Primary NSD Server不可用，则由 Secondary NSD Server完成对NSD的访问。
数据流
LAN
/gpfs1
Host02 Host03 Host04
Disk02
Disk03
2005 Technical Support Service
GPFS for AIX安装配置完全手册_作者完整版
GPFS3.1for AIX安装配置完全手册作者简介：辛旻，西安交通大学学士学位，上海宝信系统服务部技术支持中心IBM主机技术路线负责人，有从事AIX工作的多年实践经验，曾公开发表过《AIX操作系统的内存调度机制剖析》一文,对IBM psystem平台有较为深入的掌握，已通过8门AIX相关认证，同时获得CATE高级认证。
摘要:本文详细描述了AIX5.3环境下安装配置GPFS3.1的步骤，对于第一次安装GPFS的同仁可以快速入门，对于有安装过的同仁，有一定的参考意义。
第一章前言1.GPFS 的简介GPFS 是IBM 公司第一个共享文件系统，起源于IBM SP 系统上使用的虚拟共享磁盘技术(VSD )。
作为这项技术的核心，GPFS 是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统；而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。
GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。
与NFS 相比，GPFS 在SAN 环境下可以提供更好的性能。
2.实验环境说明1）实验示意图：N J S 21A J S 21N 2J S 21A J S 21A J S 21A J S 21D S 8100S A Np N S D serv ers N S D serv erclien tclien tclien tclien t2）机器配置表：序号主机名用途ip地址用户系统环境1NSD1主NSD服务器10.66.3.982CPU/4G/AIX5305 2NSD2备用NSD服务器10.66.3.992CPU/4G/AIX5305 3App1应用服务器110.66.5.51user1（501）2CPU/4G/AIX5305 4App2应用服务器210.66.5.52user2（502）2CPU/4G/AIX5305 5App3应用服务器310.66.5.53user3（503）2CPU/4G/AIX5305 6App4应用服务器410.66.5.54user4504)2CPU/4G/AIX53053）实验目的：由于应用软件有对共享文件系统读写的要求，需要建立一个/share的共享文件系统，在上面建立不同目录供不同的用户读写使用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
IBM GPFS for AIX 5.3
一：GPFS 的简介
GPFS 是 IBM 公司第一个共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术( VSD )。
作为这项技术的核心， GPFS 是一个并行的磁盘文件系统，它保证在资源组内的 所有节点可以并行访问整个文件系统；而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。
GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。
与 NFS 相比，GPFS 在 SAN 环境下可以提供更好的性能。
二：安装并升级GPFS
1． 加载GPFS 安装images ，执行安装过程：
#mount –rv cdrfs /dev/cd0 /mnt #smitty installp 2． 升级GPFS 软件：
GPFS Update Pack Download Link ：
/webapp/set2/sas/f/gpfs/download/aix.html #gzip –d filename.tar.gz #tar –xvf filename.tar #smitty update_all
3． 确认软件包是否升级成功：
#lslpp –l | grep gpfs
三：配置GPFS
1． 在两个节点配置共享磁盘：
#lspv
这里，共享磁盘为hdisk2、hdisk3、hdisk4、hdisk5。
2． 配置/etc/hosts 文件：
#cat /etc/hosts
3． 更改系统环境变量：
#vi /etc/profile 在最后一行加入：
PATH=$PATH:/usr/lpp/mmfs/bin export PATH
A i
x W
i n d
在两个节点上分别执行，这样，可以让后面的操作更方便些。
4． 建立主机信认机制
#vi /.rhosts rac1 rac2 rac1-priv rac2-priv
在两个节点上分别执行。
5．创建GPFS 群集：
5.1：在/tmp 目录下，创建GPFS 群集节点文件：
#vi gpfs_node rac1:quorum rac2:quorum
5.2：新建GPFS 群集
# mmcrcluster -C oracle -N /tmp/gpfs_node -p rac1 -s rac2
其中：-C ：群集名
-N ：群集节点文件 -p ：群集主节点名 -s ：群集从节点名 5.3：查看GPFS 群集 #mmlscluster
6． 配置GPFS 群集系统共享盘
6.1：在/tmp 目录下，创建GPFS 群集共享盘文件 #vi gpfs_disk1
hdisk2:rac1:rac2:dataAndMetadata::ora_disk1
hdisk3:rac1:rac2:dataAndMetadata::ora_disk2 #vi gpfs_disk2
hdisk4:rac1:rac2:dataAndMetadata::ora_disk3 hdisk5:rac1:rac2:dataAndMetadata::ora_disk4
6.2：生成NSD 磁盘 #mmcrnsd –F /tmp/gpfs_disk1
A i
x W
i n d
#mmcrnsd –F
/tmp/gpfs_disk2
6.3：查看NSD 磁盘 #lspv
#mmlsnsd
7． 启动GPFS 群集服务
#mmstartup –a
#mmgetstate –a
8． 建立GPFS 文件系统
8.1：建立GPFS 文件系统挂载点 #mkdir /ora1 #mkdir /ora2
8.2：建立GPFS 文件系统
# mmcrfs /ora1 ora1_lv -F /tmp/gpfs_disk1 -A no -B 64K -n 10 -v no
A i
x W
i n d
其中：/ora1：GPFS 文件系统挂载点 ora1_lv ：GPFS 文件系统LV 名 -F ：指定NSD 的文件名 -A ：是否自动加载 -B ：文件系统块大小
-n ：挂载文件系统的节点数
-v ：校验建立磁盘是否已有文件系统 8.3：挂载已建立的GPFS 文件系统
#mmlsnsd
#mount /ora1 #df –g
另一个文件系统gpfs_disk2建立同上，最后结果如下：
9． 显示 GPFS 选项属性 #mmlsconfig
至此，GPFS 群集文件系统在AIX 5.3的安装全部完成。
四：删除GPFS 群集文件系统
A i
x W
i n d
1． 卸载GPFS 文件系统
#umount /ora1 #umount /ora2
在两个节点上分别执行 2． 删除GPFS 文件系统
#mmlsfs all 查看现有所有文件系统
#mmdelfs ora1_lv
ora2_lv 同上， #mmdelfs ora2_lv
3． 删除GPFS 群集NSD 磁盘
#mmdelnsd ora_disk1
ora_disk2、ora_disk3、ora_disk4同上。
#mmlsnsd
4． 停止GPFS 群集系统
#mmshutdown –a
#mmgetstate –a
A i
x W
i n d
5． 删除GPFS 群集文件系统
5.1：在/tmp 目录下，新建一个文件，并写入将要删除的节点名 #vi rmgpfs_node rac1 rac2
5.2：删除GPFS 群集文件系统 #mmdelnode –N /tmp/rmgpfs_node
#mmdelnode –f
至此，GPFS 群集文件系统已从您的机器中删除。
结束语
该文档大体上描述了IBM GPFS 群集文件系统在AIX5.3系统上的安装、配置及删除等相关操作。
详细步骤，敬请参阅IBM redbook 或登陆IBM 官方网站查询，如发现文档中有错误之处，请及时联系，谢谢！作者E-mail ：ibm1188@
附录：
GPFS 3.1 for AIX 安装配置完全手册 /developerworks/cn/aix/library/au-gpfs/index.html GPFS V3.1 Administration and Programming Reference
/infocenter/clresctr/vxrx/index.jsp?topic=/com.ibm.cluster.gpfs.doc/gpfs31/bl1adm1112.html
A i
x W
i n d。