V7000存储底层结构及数据恢复案例详解
IBM 存储虚拟化解决方案 SVC StorwizeV7000 & XIV 竞争分析和成功案例分享
© 2010 IBM Corporation
SVC对比HDS/HP 虚拟化产品 (VSP USPV USPVM)
HDS 型号 VSP USP V USP VM
Sun Solaris
HP型号(OEM) StorageWorks P9500 StorageWorks XP24000 StorageWorks XP20000
V7000对比友商产品
IBM 型号 外部虚拟化引擎 2.5”/3.5”磁盘支持 磁盘技术 分级存储 Storwize V7000 有 支持混插 6Gb SSD/SAS/ NLSAS Easy Tier 免费 Dell/EMC Dell/EMC CX4-120/ 240/ 480 无 否 4Gb SSD/FC/SATA FAST 额外付费 （许可证和专业实施费用） HP EVA4400/ 6400/ 8400 无 否 4Gb FC/FATA 无
© 2010 IBM Corporation
IBM SVC 和 V7000 的其它优势
IBM SVC V7000其它优势： 支持 iSCSI兼顾不同客户的需求 可以配置闪盘(SSD) 结合Cache进一步提升IO性能 免费的Easy Tier 支持内部和外部磁盘消除热点以优化性能 免费的精简规划功能(Thin Provisioning) 免费的快照功能 (Flash Copy) 软件功能可以使融合到虚拟化环境中的异构存储受惠 经验丰富的专业实施和服务团队
HP-UX IBM AIX Microsoft Mi f Windows
HDS/HP产品特点： 利用高端磁盘阵列作为虚拟化引擎 客户投资规模大，必须要先拥有高端盘阵。没有 中低端选择 连接主机、外部存储和数据复制端口要分别指定 精简规划和虚拟存储要分别定义在两个存储池中 ，无法统一管理和享受虚拟化的便利 IBM SVC： 配置灵活，可以选择1-4个IO组(2-8个结点）以 适合不同环境和需求的广大客户群 虚拟化灵活整合，不绑定特定品牌的存储产品 精简规划和虚拟存储不需要分离，既可以管理 内部外部资源，又可以提高存储利用率
IBM_V7000配置实施文档(图文并茂)
2011/5/5
一、 设备
序号
1 2 3
设备名称
IBM Power 720 IBM Storwize V7000 IBM B24
数量
2 1 1
访问 IP
用户名/密码
二、IBM Storwize V7000 相关术语
1) Mdisk（被管理的磁盘） ：Storwize V7000 管理到的磁盘单元 2) StoragePool(池):由一个或多个 Mdisk 组成存储空间 3) Volumes(卷)：由存储池中创建的存储空间，提供给主机使用（lun）
2 / 33
4) 设置完成后，按下图的提示进行操作
5) 在浏览器中输入管理 IP 地址，如：https://172.16.0.235，输入用户名、密 码，用户名和密码在 USB Key 中有提示：superuser、passw0rd(‘0’为零)：
3 / 33
6) 按提示接受许可协议，并且进行其他的配置操作,以下配置中有些内容可 以自己研究下：
将该卷再映射到第二台主机 chustar2，2 台主机共享一个 lun：
19 / 33
配置完成后：
20 / 33
四、其他功能
拷贝服务： FlashCopy 一致性组 FlashCopy 映射 远程拷贝 伙伴关系
21 / 33
用户管理 用户 审计日志
配置 网络 时间通知 高级
22 / 33
选择某个 mdisk，可针对该 mdisk 进行相关“删除”等操作：
12 / 33
点击“物理存储器池新建池“，选择对应的 Mdisk，创建新池：
选择” 卷所有卷/按池划分的卷/按主机划分的卷新建卷”，创建新的卷：
IBM SVC-V7000容灾方案
SVC-V7000容灾测试方案目录一、测试环境 (3)二、测试方案 (4)三、SVC容灾到V7000配置 (4)四、测试步骤 (14)五、异机恢复 (24)2台ibm 服务器X3650M3连接SVC，安装redhat 5.10+oracle 11G RAC数据库，SVC作为主存储，V7000作为复制存储，SVC分配给2台服务器上的LUN同步复制到V7000存储。
1、SVC运行中的2个节点，关闭其中一个节点，查看oracle数据库是否正常2、SVC启动关闭的节点，启动正常后关闭另一个节点，查看oracle数据库是否正常3、在SVC中分配给oracle rac 的所有LUN同步完成后，关闭SVC，在V7000映射复制SVC的LUN给oracle rac，启动oracle数据库，查看数据库是否正常。
4、异机恢复三、SVC容灾到V7000配置1、SAN环境配置，SVC和V7000所有的端口在一个ZONE,oracle 节点1和svc一个zone，oralce 节点1和V7000一个zone，oracle节点2和SVC一个zone，oracle节点2和V7000一个zone。
2、V7000存储设置V7000默认的功能是存储，需要更改为复制的功能，在命令行运行以下命令chsystem -layer replication （修改后需要重启动）lssystem （查看修改后的结果）layer replication （默认layer storage）3、在WEB界面配置SVC-V7000复制SVC添加伙伴关系V7000V7000添加伙伴关系SVCV7000创建要复制SVC的LUN，一样的大小SVC的LUNSVC配置远程拷贝，SVC 的LUN复制到V7000创建一致性组选择需要复制的LUN选择复制到V7000上的LUN同步完成后V7000创建2个oracle RAC的节点主机四、测试步骤1、关闭SVC其中的一个节点，查看数据库是否正常当前SVC硬盘的路径是4条，都是激活的，oracle RAC数据库运行正常关闭SVC节点1，SVC硬盘的路径4条当中，2条是失败的，oracle rac数据库运行正常2、启动SVC节点1，关闭节点2，SVC硬盘的路径4条当中有2条是失败，oracle rac数据库运行正常3、关闭整个SVC，切换到V7000,启动数据库是否正常V7000映射从SVC复制的LUN给2台oracle 主机V7000需要修改功能属性，把复制功能修改为存储功能，IBM_Storwize:FITS-V7000:superuser>chsystem -layer storage （replication）修改后需要重启动V7000删除一致性组删除复制LUN对应关系删除伙伴关系V7000命令行修改V7000功能属性IBM_Storwize:FITS-V7000:superuser>chsystem -layer storage重启动V7000存储，启动oracle RAC 2个节点，查看硬盘和数据库都是正常。
V7000存储自我总结硬盘更换流程
V7000 硬盘更换流程V7000的管理IP地址，连接后，选择登入：选择Pool——Internal Storage，即可查看所有硬盘槽位。
找到报错的硬盘硬盘Item的右键菜单中有Indentify选项点亮指示灯。
列表中的DriveID编号并非物理Slot号，请注意对应关系，查看“d irver slot”找到正确的盘位。
*需要注意的是，如果硬盘已经处于Failed状态，那么它的Status会变为Offline，此时硬盘物理指示灯的状态是全灭的还有集中状态，比如unused状态和degradd状态。
查看硬盘是否仍然从属于某个Volume如下图，右键菜单中的Show Dependent Volumes可查看硬盘仍否属于某个Volume。
正常情况下，硬盘Failed变为Offline后，会被系统踢出，此时该盘不会属于任何Volumes，若硬盘仍然在Volumes中或并非Offline状态，将待更换硬盘标记为Unused并进行更换Unused状态就是可以自由拔插的状态正确的做法是将故障盘标记为Unused状态。
右键菜单中，选择Mark As——Unused，新的硬盘插上后也处于unused状态，下面要做的是将新硬盘标记为candidate状态，若要指定其功能，需要先将它的状态改为Candidate。
将硬盘标记为Spare状态，要想把盘加入到raid组中，只需要再把它标记为spare状态在硬盘处于candidate的状态时，可将硬盘状态改为Spare。
硬盘更换完毕磁盘状态为Online，Spare，再刷新，就变为mdisk的内部磁盘了。
删除多出来的鬼盘出现如下故障，一般原因是74号磁盘忘记标记为unused，就进行拔插。
所以系统无法忘记这块盘，这样就需要删除鬼盘，或者重新插回原来的盘来修复。
出现如下故障，一般原因是74号磁盘忘记标记为unused，就进行拔插。
所以系统无法忘记这块盘，这样就需要删除鬼盘，或者重新插回原来的盘来修复登入SSH下，输入用户名：superuser PASSWORD: passw0rdSSH到v7000的管理IP，然后分别执行下面命令即可消除鬼盘svctask chdrive -use failed 74svctask chdrive -use unused 74。
IBMStorwizeV7000全资料解析
IBMStorwizeV7000全资料解析IBM Storwize V7000最全资料解析存储效率五项技术集于一身，IBM Storwize V7000中端存储新品解析最近IBM 新一代中端虚拟存储产品Storwize V7000在业内反响挺大，Storwize V7000是一款被IBM寄予厚望的产品，在发布这款新品之前，IBM特意为其制作了具有强烈神秘感的广告，并宣称这将是“改变存储游戏规则”的产品，确实，作为IBM全新的中端磁盘存储系统，围绕在Storwize V7000身上的谜题确实是太多了。
因此我特意整理了一些资料分享给大家，打造史上最全的V7000汇总贴。
IBM Storwize V7000有三个第一，1.第一个IBM自主研发的中端存储2.0产品，架构上突破传统，吸收了DS和IBM 横向扩展架构XIV 的精华；2.第一次集“EasyTier自动分层”“虚拟化”“精简调配”三大存储效率于一身的磁盘列阵，使IBM Storwize V7000当之无愧的成为更加看重存储效率的中端存储市场上的杀手级产品；3. 第一次把DS8000的RAID技术和自动分层，SVC虚拟化架构以及XIV的赏心悦目的管理界面等高端存储上的技术用在中端存储上，拥有企业级阵列的功能和使人眼前一亮的GUIIBM Storwize V7000技术参数IBM Storwize V7000目前是一个双控制器存储阵列（将来计划括充至8个控制器，与IBM SVC类似），每个控制器都利用了一个四核Jasper Forest（Nehalem）处理器来驱动虚拟化的三级后端存储，采用了SAS连接。
该系统采用了SVC（SANVolume Controller）代码堆栈，以及储存资源随需分配、虚拟化和数据保护等功能。
并添加了IBM 高端存储XIV的用户图形界面以及DS8000 RAID以及EasyTier功能。
可以说是集大成于一身。
V7000的主机接口是8Gbit/s的Fibre Channel，可选加四个1Gbit/E的iSCSI，iSCSI为原生支持。
IBM V7000配置实施文档
IBM Storwize V7000 配置实施文档
2011/5/5
一、设备
二、IBM Storwize V7000相关术语
1)Mdisk（被管理的磁盘）：Storwize V7000管理到的磁盘单元
2)StoragePool(池):由一个或多个Mdisk组成存储空间
3)Volumes(卷)：由存储池中创建的存储空间，提供给主机使用（lun）
三、实施步骤
1)安装上架、连线、加电正常
2)V7000的配置中有一个USB Key，该Key是用来管理V7000存储所需的，
将USB Key插入工程师的PC笔记本上，对其设置管理IP，设置完成后，
会在该Key中生存一个配置文件，再将该Key拔出，插入V7000控制器
上对应的管理以太网口上面的USB口，待V7000配置稳定后，即可通过
设置的IP地址对存储进行管理；
3)打开.exe执行程序，按提示进行IP的设置
4)设置完成后，按下图的提示进行操作
码，用户名和密码在USB Key中有提示：superuser、passw0rd(‘0’为零)：
以自己研究下：。
V7000配置要点
一. Power750做HA的相关配置：解答：(1) 双以太网卡：推荐使用双卡，以实现网卡的冗余。
双网卡并不是HACMP的最小配置，但是使用双网卡可以在某个网卡失败的时候只做本机的网卡切换，而不必做主机切换。
推荐连接双以太网交换机，避免网络的单点故障；(2) 双HBA卡，避免HBA卡的单点故障；(3) 双SAN 交换机，避免交换机的单点故障；(4) 串口卡和心跳线，用于建立第二网络，传递心跳信息，避免在IP网络失败的情况形成主机孤岛；(5) 每台机器配置1套PowerHA软件。
二. Power720硬盘背板介绍：解答：Power720有两种类型的硬盘背板，fc#5618和fc#5630。
具体介绍如下：fc#5618，支持6块SFF 的SAS硬盘（HDDs/SDDs），一个SATA DVD光驱，一个半高的磁带机或者USB的移动硬盘。
该硬盘背板支持背板的分离，需要配置fc#5631来实现背板分离，每个SAS通道支持3块硬盘，其中，由fc#5631管理的三块硬盘支持RAID10。
该硬盘背板不支持RAID5，6，不支持对外的SAS端口。
fc#5630，支持8块SFF的SAS硬盘（HDDs/SDDs），一个SATA DVD光驱，一个半高的磁带机或者USB的移动硬盘。
支持RAID功能，175MB的写缓存，支持RAID5，6，一个对外的SAS端口。
但是该硬盘背板不支持背板的分离。
三. 如何在Power740上配置3个以上分区：解答：在Power 740中,内置硬盘能实现2个分区,要实现3个及以上分区,需要通过IO扩展实现。
1.前两个分区,需要配置支持分离的硬盘背板的编号为：fc#5618，同时还需要配置fc#5631的分离背板的选件，该选件为第二个分区提供了SAS Controller，且不占用PCI槽位，可以支持背板的分离，实现两个分区。
每个分区支持3块SFF的SAS硬盘。
其中，由fc#5631管理的分区支持RAID10。
IBMV7000虚拟存储数据恢复技术解决方案
IBMV7000虚拟存储数据恢复技术解决方案IBMV7000虚拟存储数据恢复技术解决方案虚拟存储故障数据恢复是一个高难度的技术实现，传统的企业级存储采用普通的Raid级别分配LUN空间，基本平行线性分布空间，而虚拟存储技术，LUN的空间分布是动态实现的，可以把很多个物理硬盘放在大的盘池中，LUN的空间分配根据需要从盘池中获取相应的空间。
一旦整个虚拟存储出现故障，要找出LUN的空间分配，则需要把LUN的地址描述信息找出来，才能还原LUN的真实空间分布。
达思数据恢复中心多次处理IBMV7000存储故障的数据恢复，店铺整理出来供大家参考。
1、 IBMV7000虚拟存储数据恢复的故障描述：在IBM V7000上引入两个外部磁盘，每个mdisk大小12TB左右，把这两个mdisk划分在一个盘池中，然后从这个盘池中划分出两个LUN，第一个15TB,第二个LUN10TB，这两个LUN采用精简模式分配空间。
由于误操作，把硬盘池删除掉，导致两个LUN数据丢失，不能访问，需要进行数据恢复。
2、 IBMV7000虚拟存储数据恢复磁盘划分原理：“虚拟”两个字是IBM V7000存储的精髓，特别是对精简模式的LUN的划分，假如你划分一个15TB的LUN，精简模式，这个LUN实际在这个盘池中，最小分配768KB就足够了，随着对LUN格式化，写入数据，这个空间就会慢慢增加，而这个增加的存储空间，就会有相应的信息来记录，这个就是map指针记录表。
LUN的最上一级map指针，记录着这个LUN使用了哪些extents，而extent是从这个盘池中获取的，这个案例一个extent是1GB。
在盘池中的每个mdisk，会划分成诺干个extent，从小到大进行编号，当LUN在分配空间时，就会在map表中记录，哪些mdisk的哪些extents给这个LUN使用。
而一个extent的内部，又分成诺干个512扇区的空间，这一层还有一个map表，记录着哪些512扇区给LUN 的那个逻辑地址上使用，因为512sec在整个盘池中实在是太多了，就使用间接指针的方式来记录，空间越大，间接指针的'级别就用得越高，比如15TB的LUN，间接指针就会用到4级，才能描述整个LUN的512sec数量级位置。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
V7000存储底层结构拆原理及Mdisk磁盘掉线的数据恢复案例
Storwize V7000(也就是我们常说的V7000)是新推出的一款中端存储系统，这款系统的定位虽然在中端，但是Storwize V7000提供有存储管理功能，这一功能以前只有高端存储才拥有（例如Storwize V3700，Storwize V5000）。
底层存储结构支持：RIAD0/RAID10/RAID5/RAID6
上层卷支持：普通卷/精简模式的卷/镜像模式的卷/精简镜像模式的卷
本文将为大家展示V7000存储的结构原理、配置方法以及Mdisk磁盘掉线的数据恢复方法。
【V7000底层结构及原理】
拆分来看V7000的底层原理结构其实不属于复杂的类型，整个存储结构一共分为四层。
第一层是物理硬盘，也就是数据实际存放的位置。
第二层Mdisk（就是存储中的raid），这一层是许多个多个物理磁盘的集合。
第三层叫做池，池又把诸多Mdisk组合而成为一个更大的逻辑容器。
第四层是卷，卷是面向用户的存储单位，它们是从池中分配出来的空间，（注：卷不可以跨池）。
通过图形可以更加清楚的观察这四层结构：
介绍到这里大家应该就能明白了，只有第一层的物理磁盘才是最终存储数据的位置。
而第二层、第三层、第四层都只是虚拟化而来的。
在物理磁盘中的数据都是以小块为单位（Block）进行存储，即我们通常理解的存放在Mdisk中的数据会分成N多个Block平均分布在所有磁盘上。
在Mdisk这一层，数据是以段为单位存储的，多个Mdisk组成了一个池，既
在池中创建的卷会被分成若干个段放到不同的Mdisk中，不同卷的类型分布在池中的方式也不同，不过最终还是以段为单位存储在Midsk中的。
V7000的存储过程就是用户将数据存放到卷中，而卷又会被分割成若干个段分布在不同Mdisk中，而Mdisk又会将段分成若干个块分布在不同的磁盘中。
最终数据全部是以块为单位分布在不同的磁盘中。
【如何配置Storwize V7000】
1、使用管理IP连接V7000，输入用户名（默认：superuser）和密码（密码：passw0rd）。
2、默认是没有任何配置的，需要先配置Mdisk，池以及卷，然后添加主机映射卷。
3、创建Mdisk，Mdisk的类型有RAID0，RAID0，RAID5以及RAID6。
4、创建池，可以将多个Mdisk划分到一个池中。
5、创建卷，卷是在池的基础之上配置的，卷的类型有通用，自动精简，镜像以及精简镜像。
6、创建主机并映射卷，主机的类型有光纤通道的主机和iscsi的主机。
至此整个配置的大致流程就算完了，
【Mdisk磁盘掉线数据恢复案例】
1、存储架构
存储型号：Storwize V7000
磁盘数量：24块（600G SAS磁盘）
Mdisk数量：2个Mdisk，（RAID5）
卷数量：2个2T的通用模式，1个3T精简模式。
2、故障原因
由于磁盘自然老化导致Mdisk有部分磁盘掉线、上层卷无法访问。
由于全局热备只设置了一个并且管理人员也没有在磁盘掉线后及时更换，造成数据丢失。
3、数据恢复方法
首先要把所有磁盘进行镜像处理，然后通过分析镜像可以得出哪些磁盘是同一组Mdisk。
然后分析一组Mdisk有没磁盘掉线情况发生。
如果有磁盘掉线就直接在Mdisk组中将掉线磁盘去除掉，生成Mdisk,接着分析Mdisk之间的结构生成池。
再分析卷的结构，由于不同的卷也有着不同的类型，所以存储结构也不一样。
分析完卷的结构后就可以生成每个卷的数据了。
由于对IBM V7000系列存储的底层结构研究的很透彻，所以对此系列存储的故障，数据几乎都可以挽救。
但是，有一种情况数据是无法挽救的，所有磁盘被重建了。
因为在创建完Mdisk 之后，系统会对Mdisk做初始化，也就是清零。
如下图
因此，如果存储被重建并且完成了初始化，那么这种情况下数据基本无法恢复了。