AIX下的MPIO、RDAC、SDDPCM多路径软件操作
常见的多路径管理软件
Multipath I/O (多路径)
在计算机存储技术里,多路径提供了容错和性能提高,在计算机系统里CPU有多条物理路径通道,块存储设备通过总线,控制器,交换设备以及桥接设备来连接。
简单举例同一台计算机里1块SCSI磁盘连接2个SCSI控制器或者磁盘连接到两个FC端口。如果其中1个控制器，端口或交换设备故障，那操作系统就会自动切换I/O路径到冗余的控制器为应用程序使用,但这样可能会增加延迟.
一些多路径软件可以利用冗余的路径提高性能,例如:
Dynamic load balancing 动态负载均衡
Traffic shaping 流量控制
Automatic path management 自动路径管理
Dynamic reconfiguration 动态设置
Multipath I/O software implementations 多路径软件工具
一些操作系统自带支持多路径功能,如下
SGI IRIX - using the LV, XLV and later XVM volume managers (1990s and onwards)
AIX - MPIO Driver, AIX 5L 5.2 (October 2002) and later
HP-UX 11.31 (2007)
Linux - Device-Mapper Multipath . Linux kernel 2.6.13 (August 2005)
OpenVMS V7.2 (1999) and later
Solaris Multiplexed I/O (MPxIO), Solaris 8 (February 2000) and later
Windows MPIO Driver, Windows Server 2003 and Windows Server 2008 (April 2003)
FreeBSD - GEOM_FOX module
Mac OS X Leopard and Mac OS X Leopard Server 10.5.2
Multipath software products: (软件产品)
AntemetA. Multipathing Software solution for AIX for HP EVA Disk Arrays
NEC PathManager
EMC PowerPath
FalconStor IPStor DynaPath
Fujitsu Siemens MultiPath for Linux and Windows OS
Fujitsu ETERNUS Multipath Driver (ETERNUSmpd) for Solaris, Windows, Linux and AIX.
Hitachi HiCommand Dynamic Link Manager (HDLM)
HP StorageWorks Secure Path
NCR UNIX MP-RAS EMPATH for EMC Disk Arrays
NCR UNIX MP-RAS RDAC for Engenio Disk Arrays
ONStor SDM multipath
IBM System Storage Multipath Subsystem Device Driver (SDD), formerly Data Path Optimizer
Accusys PathGuard
Infortrend EonPath
Sun Multipath failover driver for Windows and AIX
Sun StorEdge Traffic Manager Software, included in Sun Java StorEdge Software suite
Linux
multipath-tools, used to drive the Device Mapper multipathing driver, first released on September 2003
Fibreutils package for QLogic HBAs
RDAC package for LSI disk controllers
lpfcdriver package for Emulex HBAs
Veritas
Veritas Storage Foundation (VxSF)
Veritas Volume Manager (VxVM)
Pillar Data Systems
Axiom Path Manager for AIX, Windows, Linux, and Solaris
Areca Multipath failover driver for Windows
?
AIX下的MPIO、RDAC、SDDPCM多路径软件操作
一：查看存储盘的路径
1、查看MPIO的存储盘的路径
# lspath (适用于所有存储的MPIO路径查询）
# mpio_get_config -Av (适用于DS3K/DS4K的MPIO路径查询）
2、查看RDAC存储盘的路径
# fget_config -Av (适用于DS3K/DS4K的RDAC路径查询）
3、查
看SDDPCM存储盘的路径
# pcmpath query device (适用于DS6K/DS8K和v7000的SDDPCM路径查询)
4、查看当前操作系统自带的支持IBM存储的多路径软件
# manage_disk_drivers
5、将DS4700默认的多路径软件更改成RDAC
# manage_disk_drivers -d DS4700 -o AIX_fcparray
二：MPIO路径的常用操作
1、查看单个盘的路径
# lspath -l hdisk3
# lspath -F "status name path_id parent connection" | grep -w hdisk3
2、MPIO路径控制
将fcs0卡下的hdisk2的路径禁用
# chpath -l hdisk2 -p fscsi0 -s disable
将fcs0卡下的hdisk2的路径启用
# chpath -l hdisk2 -p fscsi0 -s enable
3、其它参数
# chdev -l hdisk3 -a queue_depth=1 //如果ODM是1.0.1.0以上可以是任何数字
# chdev -l hdisk3 -a hcheck_interval=60 //链路失效检查时间间隔;如果等0，则不会自检
# chdev -l hdisk3 hcheck_mode=nonacive
This parameter specifies which I/O paths should be monitored by the path health checking functionality.
nonactive: This mode will check all failed I/O paths and all standby paths of used/opened devices.
failed: This mode with check failed I/O paths only.
enabled: This mode will check all enabled I/O paths which are opened.
Note:
Non-opened devices are not monitored. Also, this attribute is
not being used at this time since path health checking is not
enabled. This attribute can be ignored
4、修改链路优先级
lspath -AHE -l hdisk2 -p vscsi3 //查看链路优先级
# chpath -l hdisk3 -p fscsi0 -w 链路1 -a priority=1
# chpath -l hdisk3 -p fscsi0 -w 链路2 -a priority=2
5、处理故障
1)如果发现有很多路径是missing的，可以用cfgmgr重新扫描，如果还有missing的，可以用步骤2和2来激活路径；
2)如果要更换光纤线，可以该卡上的有的路径禁用，换完线后再启用，避免直接拨线产生的风险。
sdd for aix 安装及基本命令 总结出自多个文件（自己做的项目和网上找的资料）
一、sddpcm安装
要安装 SDDPCM 驱动程序，需要执行以下步骤。
1. 在安装 SDDPCM程序包之前，安装 AIX SDDPCM主机附件程序包（devices.fcp.disk.ibm.mpio.rte或 devices.sas.disk.ibm.mpio.rte）。
2. 使用 root访问权限登录系统，然后解压缩已下载的 SDDPCM主机附件程序包（devices.fcp.disk.ibm.mpio.rte.tar.gz或 devices.sas.disk.ibm.mpio.rte.tar.gz）并进行安装。您也可以使用 smit选项。
#installp -aXY devices.fcp.disk.ibm.mpio.rte
3. 现在，您需要安装 SDDPCM程序包（devices.sddpcm.52.rte、devices.sddpcm.53.rte或 devices.sddpcm.61.rte）。
#installp -aXY devices.sddpcm.61.rte
4. 安装必要组件之后，安装 .bff文件。
#installp -aXY devices.sddpcm.61.2.6.3.2.bff
5．sddpcm的检查
# pcmpath query version
# lslpp -l *sddpcm*
检查SDDPCM server（pcmsrv）是否启动
# lssrc -s pcmsrv
Subsystem Group PID Status
pcmsrv 335960 active
手工启停pcmsrv的方法
# stoppcmsrv
0513-044 The pcmsrv Subsystem was requested to stop.
# startpcmsrv
pcmsrv started
完成此安装之后，需要设置一个 SDD路径选择策略算法，该算法可以帮助您提高多路径配置的和受支持的存储设备的性能，并且可以让路径故障对应用程序透明。以下路径选择策略受到支持：
? 仅故障转移 (fo)
由于 I/O 错误，在路径发生故障之前，应将所有 I/O操作发送至相同（首选）路径。然后为后续的 I/O操作选择一个备用路径。
? 负载平衡 (lb)
通过评估适配器上每个路径连接的负载来选择用于 I/O操作的路径。负载是同时进行的 I/O操作数量的函数。如果多个路径具有相同的负载，则会从这些路径中随机选择一条路径。负载平衡模式还会并入故障转移保护。负载平衡策略也称为优化策略。
? 负载平衡顺序 (lbs)
该策略与用于顺序 I/O 优化的负载平衡策略相同。此负载平衡顺序策略也称为优化顺序策略。这是默认设置。
? 轮循 (rr)
从没有用于最后一个 I/O 操作的路径中随机选择用于每个 I/O 操作的路径。如果设备只有两个路径，那么 SDD会交替使用这两个路径。
? 轮循顺序 (rrs)
该策略与针对顺序 I/O 进行优化的轮循 (round-robin) 策略相同。
您需要为您的环境选择最适当的 SDD路径选择策略，并使用以下方法应用该策略。
注意：在更改算法之前，您需要将磁盘保留策略更改为 no_reserve。
# chdev -l hdiskX -a reserve_policy=no_reserve
用于设置不同的 SDD路径选择策略算法的命令的示例
# chdev -l hdiskX -a algorithm=load_balance_port
# chdev -l hdiskX -a algorithm=round_robin
您可以使用 pcmpath query device命令查看磁盘策略。
二、常用命令
1、多路径状态查看
# sddpcm_get_config -Av
Frame id 0:
Storage Subsystem worldwide name: 608e5002c7eb6000050aeea7e
Controller count: 2
Partition count: 1
Partition 0:
Storage Subsystem Name = ''
hdisk LUN # Ownership User Label
hdisk4 0 A (preferred) ha_data1
hdisk5 1 B (preferred) ha_data2
hdisk6 2 A (preferred) ha_cwback1
hdisk7 3 B (preferred) ha_cwback2
pcmpath query device
Total Dual Active and Active/Asymmetric Devices : 6
DEV#: 2 DEVICE NAME: hdisk2 TYPE: 2107900 ALGORITHM: Load Balance
SERIAL: 75WH8812800
==========================================================================
Path# Adapter/Path Name State Mode Select Errors
0 fscsi0/path2 OPEN NORMAL 543944 0
1 fscsi0/path3 OPEN NORMAL 543359 0
2
fscsi2/path5 OPEN NORMAL 528429 0
3 fscsi2/path7 OPEN NORMAL 489034 0
DEV#: 3 DEVICE NAME: hdisk3 TYPE: 2107900 ALGORITHM: Load Balance
SERIAL: 75WH8812801
==========================================================================
Path# Adapter/Path Name State Mode Select Errors
0 fscsi0/path2 OPEN NORMAL 11759444 1
1 fscsi0/path3 OPEN NORMAL 11758904 1
2 fscsi2/path5 OPEN NORMAL 12656811 2
3 fscsi2/path7 OPEN NORMAL 10132830 1
DEV#: 4 DEVICE NAME: hdisk4 TYPE: 2107900 ALGORITHM: Load Balance
SERIAL: 75WH8812802
==========================================================================
Path# Adapter/Path Name State Mode Select Errors
0 fscsi0/path2 OPEN NORMAL 2262 0
1 fscsi0/path3 OPEN NORMAL 2418 0
2 fscsi2/path5 OPEN NORMAL 2428 0
3 fscsi2/path7 OPEN NORMAL 2295 0
DEV#: 5 DEVICE NAME: hdisk5 TYPE: 2107900 ALGORITHM: Load Balance
SERIAL: 75WH8812900
==========================================================================
Path# Adapter/Path Name State Mode Select Errors
0 fscsi0/path2 OPEN NORMAL 2168 0
1 fscsi0/path3 OPEN NORMAL 2608 0
2 fscsi2/path5 OPEN NORMAL 2359 0
3 fscsi2/path7 OPEN NORMAL 2274 0
DEV#: 6 DEVICE NAME: hdisk6 TYPE: 2107900 ALGORITHM: Load Balance
SERIAL: 75WH8812901
==========================================================================
Path# Adapter/Path Name State Mode Select Errors
0 fscsi0/path2 OPEN NORMAL 2318740 0
1 fscsi0/path3 OPEN NORMAL 2319666 0
2 fscsi2/path5 OPEN NORMAL 2355086 0
3 fscsi2/path7 OPEN NORMAL 2132693 0
DEV#: 7 DEVICE NAME: hdisk7 TYPE: 2107900 ALGORITHM: Load Balance
SERIAL: 75WH8812902
==========================================================================
Path# Adapter/Path Name State Mode Select Errors
0 fscsi0/path2 OPEN NORMAL 2535 0
1 fscsi0/path3 OPEN NORMAL 2475 0
2 fscsi2/path5 OPEN NORMAL 2470 0
3 fscsi2/path7 OPEN NORMAL 2312 0
2、停止对应lun路径（路径分别是2、3、5、7，这里是路径停止路径7）
pcmpath set devic
e 2 path 7 offline
pcmpath set device 3 path 7 offline
pcmpath set device 4 path 7 offline
pcmpath set device 5 path 7 offline
pcmpath set device 6 path 7 offline
pcmpath set device 7 path 7 offline
3、查看对应端口
（这个端口是ds8700对应的端口，之前我们一起激活的时候按顺序激活的，对应的端口号我给你放到最后面，如果我回去这几天或者以后链路出问题，都可以采用相关的命令查看对应的ds8700上的端口，这样对应着去offline相应的port，算是及时处理吧。）
pcmpath query port
p750lpar1:/# pcmpath query port
Active TargetPorts :4
Port# Wwpn State Mode Select Errors Paths Active
0 500507630a08471b NORMAL ACTIVE 13085149 3 6 6
1 500507630a08c71b NORMAL ACTIVE 13084689 0 6 6
2 500507630a03471b NORMAL ACTIVE 14008161 3 6 6
3 500507630a03c71b FAILED OFFLINE 11226300 43 6 0
这里是dscli命令行里面操作的（下面标注的4个口是本次扩容用到的ds8700对应的端口，这里的顺序是我们之前一起激活的顺序，）
dscli> lsioport
Date/Time: 2012年12月14日下午04时44分39秒 IBM DSCLI Version: 6.5.1.203 DS: IBM.
2107-75WH881
ID WWPN State Type topo portgrp
================================================================
本次扩容左边的I/O卡
I0030 500507630A03071B Offline Fibre Channel-SW - 0
I0031 500507630A03471B Offline Fibre Channel-SW - 0
I0032 500507630A03871B Offline Fibre Channel-SW - 0
I0033 500507630A03C71B Offline Fibre Channel-SW - 0
本次扩容右边的i/o卡
I0100 500507630A08071B Offline Fibre Channel-SW - 0
I0101 500507630A08471B Offline Fibre Channel-SW - 0
I0102 500507630A08871B Offline Fibre Channel-SW - 0
I0103 500507630A08C71B Offline Fibre Channel-SW - 0
之前的i/o卡
I0230 500507630A13071B Online Fibre Channel-SW SCSI-FCP 0
I0231 500507630A13471B Online Fibre Channel-SW SCSI-FCP 0
I0232 500507630A13871B Online Fibre Channel-SW SCSI-FCP 0
I0233 500507630A13C71B Online Fibre Channel-SW SCSI-FCP 0
I0300 500507630A18071B Online Fibre Channel-SW SCSI-FCP 0
I0301 500507630A18471B Online Fibre Channel-SW SCSI-FCP 0
I0302 500507630A18871B Online Fibre Channel-SW SCSI-FCP 0
I0303 500507630A18C71B Online Fibre Channel-SW SCSI-FCP 0
4、启用对应lun路径
pcmpath set device 2 path 7 online
pcmpath set device 3 path 7 online
pcmpath set device 4 path 7 online
pcmpath set device 5 path 7 online
pcmpath set device 6 path 7 online
pcmpath set device 7 path 7 online
5、清除error
p750lpar1:/# pcmpath clear device 3 count error
Success: error counter reset
6、查看sddpcm多路径配置信息
Total Dual Active and Active/Asymmetric Adapters : 2
Adpt# Name
State Mode Select Errors Paths Active
0 fscsi0 NORMAL ACTIVE 0 0 4 0
1 fscsi2 NORMAL ACTIVE 0 0 4 0
7、lun对应路径详细信息
# lspcmcfg
hdisk4 (Avail pv xvg) 60050768028081D5D800000000000004 = path0 (Failed) path1 (Failed) path2 (Enabled) path3 (Enabled)
hdisk5 (Avail pv yvg) 60050768028081D5D800000000000005 = path0 (Failed) path1 (Failed) path2 (Enabled) path3 (Enabled)
hdisk6 (Avail pv xvg) 60050768028081D5A400000000000004 = path0 (Failed) path1 (Failed) path2 (Enabled) path3 (Enabled)
hdisk7 (Avail pv yvg) 60050768028081D5A400000000000005 = path0 (Failed) path1 (Failed) path2 (Enabled) path3 (Enabled)
其他
重要的 SDDPCM 命令及其功能：
? pcmpath: 显示和管理 SDDPCM 设备。
? pcmpath query adapter: 显示适配器配置
? pcmpath query version: 显示 SDDPCM 的版本
? pcmpath query device: 显示 SDDPCM 设备（pcmpath query device 44 仅显示此设备）
? pcmpath query essmap: 显示完整概述
? pcmpath set device algorithm: 动态更改路径选择算法
? pcmpath set device hc_mode: 动态更改路径运行状况检查模式
? pcmpath set device hc_interval: 动态更改路径运行状况检查时间间隔
? pcmpath set device Mpath N online/offline: 动态启用（联机）或禁用（脱机）路径
? pcmpath set adapter N online/offline: 动态启用（联机）或禁用（脱机）适配器（SDDPCM 保留设备的最后一个路径，并且如果该设备正在使用最后一个路径，则会失败）
? pcmquerypr: 读取并清除暂存的保留和注册密钥
? pcmquerypr -vh /dev/hdisk30: 查询并显示暂存的保留（-V 详细模式以及详细信息）
? pcmquerypr -rh /dev/hdisk30: 释放暂存保留（如果设备被当前主机保留）
? pcmquerypr -ch /dev/hdisk30: 删除暂存保留并清除所有保留密钥注册
? pcmquerypr -ph /dev/hdisk30: 删除暂存保留（如果设备被其他主机保留）
? pcmgenprkey: 设置或清除所有 SDDPCM 多路径 I/O (MPIO) 设备的 PR_key_value Object Data Manager (ODM) 属性
?
manage_disk_drivers切换RDAC, MPIO 2011-04-19 15:16:51
在AIX 6.1 TL3及之前
使用manage_disk_drivers 查看以DS4800为例当前使用的是MPIO,支持RDAC跟MPIO
要切换到RDAC则输入
#manage_disk_drivers -c 5 （ DS4800所在的序号是5）
然后输入 y确认
最后执行 # bosboot -a
重启后就切换成RDAC了
AIX 6.1 TL4的命令跟之前的有所不同
#manage_disk_drivers
Usage :
manage_disk_drivers [-l]
manage_disk_drivers -d device -o driver_option
manage_disk_drivers -h
Meaning of the Flags:
-l: Display the Devices, Present Drivers, and Driver Options
-d: The Device to change the Driver
-o: Selects the new Driver
-h: should be help but is interpreted as an illegal option
我们可以通过
#manage_disk_drivers -l 查
看当前使用的是哪种多路径模式
Device Present Driver Driver Options
DS4100 AIX_APPCM AIX_APPCM,AIX_fcparray
DS4300 AIX_APPCM AIX_APPCM,AIX_fcparray
DS4500 AIX_APPCM AIX_APPCM,AIX_fcparray
DS4700 AIX_APPCM AIX_APPCM,AIX_fcparray
DS4800 AIX_APPCM AIX_APPCM,AIX_fcparray
DS5020 AIX_APPCM AIX_APPCM
DS5100/DS5300AIX_APPCM AIX_APPCM AIX_APPCM
#manage_disk_drivers -d DS4800 -o AIX_fcparray
将DS4800由AIX_APPCM（MPIO）改成AIX_fcparray（RDAC）
同样输入y确认 然后再执行下#bosboot -a 重启