LVM快照(snapshot)备份

LVM快照(snapshot)备份
LVM快照(snapshot)备份

Logical Volume Manager (LVM)提供了对任意一个Logical Volume(LV)做“快照”(snapshot)的功能,以此来获得一个分区的状态一致性备份。

在某一个状态下做备份的时候,可能有应用正在访问某一个文件或者数据库,这就是使得备份的时候文件处于一个状态,而备份完后,文件却处于另外一个状态,从而造成备份的非一致性,这种状态恢复数据库数据几乎不会成功。

状态的解决办法是将其分区挂载为只读,然后通过数据库的表级别锁定(table-level write locks)甚至停止数据库来备份数据。所有这些方法无意严重影响了服务的可用性。使用LVM snapshot既可以获得一致性备份,又不会影响服务器的可用性。

要提醒一点是,snapshot这种方法仅对LVM有效,对于非LVM文件系统无效。

snapshot的实现有多种方式(参考文章最后的连接),这里说说LVM中snapshot的“写时复制”(copy on write) 的实现方法。

当一个snapshot创建的时候,仅拷贝原始卷里数据的元数据(meta- data)。创建的时候,并不会有数据的物理拷贝,因此snapshot的创建几乎是实时的,当原始卷上有写操作执行时,snapshot跟踪原始卷块的改变,这个时候原始卷上将要改变的数据在改变之前被拷贝到snapshot预留的空间里,因此这个原理的实现叫做写时复制(copy-on- write)。

在写操作写入块之前,CoW将原始数据移动到snapshot空间里,这样就保证了所有的数据在snapshot创建时保持一致。而对于snapshot的读操作,如果是读取数据块是没有修改过的,那么会将读操作直接重定向到原始卷上,如果是要读取已经修改过的块,那么就读取拷贝到snapshot中的块。

这样,通常的文件I/0流程有一个改变,那就是在文件系统和设备驱动之间增加了一个cow 层,变成了下面这个样子:

file I/0 —> filesystem — >CoW –> block I /O

下面的图也许可以比较容易了解CoW的原理:

采取CoW实现方式时,snapshot的大小并不需要和原始卷一样大,其大小仅仅只需要考虑两个方面:从shapshot创建到释放这段时间内,估计块的改变量有多大;数据更新的频率。一旦 snapshot的空间记录满了原始卷块变换的信息,那么这个snapshot立刻被释放,从而无法使用,从而导致这个snapshot无效。所以,非常重要的一点,一定要在snapshot 的生命周期里,做完你需要做得事情。当然,如果你的snapshot大小和原始卷一样大,甚至还要大,那它的寿命就是“与天齐寿”了。

snapshot其实除了备份以外,还有很多其他用途:

1)虚拟化

在使用 LVM2 时,快照可以不是只读的。这意味着,在创建快照之后,可以像常规块设备一样挂载和读写快照。

因为流行的虚拟化系统(比如 Xen、VMWare、Qemu 和 KVM)可以将块设备用作 guest 映像,所以可以创建这些映像的完整拷贝,并根据需要使用它们,它们就像是内存占用量很低的虚拟机。这样做的好处是部署迅速(创建快照的时间常常不超过几秒)和节省空间(guest 共享原映像的大多数数据)。

设置的步骤如下:

1. 为原映像创建一个逻辑卷。

2. 使用这个 LV 作为磁盘映像安装 guest 虚拟机。

3. 暂停这个虚拟机。内存映像可以是一个常规文件,所有其他快照都放在里面。

4. 为原 LV 创建一个可读写的快照。

5. 使用快照卷作为磁盘映像生成一个新的虚拟机。如果需要的话,要修改网络/控制台设置。

6. 登录已经创建的虚拟机,修改网络设置/主机名。

完成这些步骤之后,就可以让用户访问刚创建的虚拟机了。如果需要另一个虚拟机,那么只需重复步骤 4 到 6(所以不需要重新安装虚拟机)。还可以用一个脚本自动执行这些步骤。

在使用完虚拟机之后,可以停止虚拟机并销毁快照。

2)数据回溯

在一个生产系统上要执行一些操作,需要慎之又慎,即便在模拟环境中做过很多次测试都没有问题,但是并不能保证在生产环境就一定成功,于是这个时候,我们把系统做一个snapshot,这样一旦新操作出现问题,立刻回溯到创建 snapshot的时间点,当然你也可以认为这是一个备份的扩展使用。

最后,我们举一些例子,加深对snapshot的理解。

a) 创建一个20M的snapshot,执行一些操作看看CoW的动作。

我们举一个例子来说明如何创建和使用snapshot。我们假定创建一个20M的snapshot,这就意味着在snapshot生命周期里,你仅能有20M的数据量改变。

下面的命令,为/dev/vg/lvdata创建/dev/vg/lvdata-sp

# lvcreate -L20M -s -n lvdata-sp /dev/vg/lvdata

Logical volume “lvdata-sp” created

其中lvdata大小为20MB。

# lvdisplay /dev/vg/lvdata-sp

— Logical volume —

LV Name /dev/vg/lvdata-sp

VG Name vg

LV UUID Yl0fQU-Ve9T-lfmp-xJPq-Uwrd-RVVM-lDDVz0

LV Write Access read/write

LV snapshot status active destination for /dev/vg/lvdata

LV Status available

# open 1

LV Size 200.00 MB

Current LE 50

COW-table size 20.00 MB

COW-table LE 5

Allocated to snapshot 0.27%

Snapshot chunk size 8.00 KB

Segments 1

Allocation inherit

Read ahead sectors 0

Block device 253:0

上面的 Allocated to snapshot 0.27%是我们关心的,表示目前还有99.73%的空间没有使用。

我们尝试在lvdata创建一个10M的文件,再看看这个参数值。

# mount /dev/vg/lvdata /media/lvdata/

# dd if=/dev/hda of=/media/lvdata/10M bs=1M count=10

10+0 records in

10+0 records out

10485760 bytes (10 MB) copied, 0.272393 seconds, 38.5 MB/s

# lvdisplay /dev/vg/lvdata-sp

— Logical volume —

LV Name /dev/vg/lvdata-sp

VG Name vg

LV UUID Yl0fQU-Ve9T-lfmp-xJPq-Uwrd-RVVM-lDDVz0

LV Write Access read/write

LV snapshot status active destination for /dev/vg/lvdata

LV Status available

# open 0

LV Size 200.00 MB

Current LE 50

COW-table size 20.00 MB

COW-table LE 5

Allocated to snapshot 51.02%

Snapshot chunk size 8.00 KB

Segments 1

Allocation inherit

Read ahead sectors 0

Block device 253:0

”Allocated to snapshot 51.02%“,符合我们的预期。此时snapshot还剩下大概10M不到的空间了,如果我么再在lvdata上创建一个12M的文件,会发生什么呢?

#dd if=/dev/hda of=/media/lvdata/12M bs=1M count=12

12+0 records in

12+0 records out

12582912 bytes (13 MB) copied, 0.288311 seconds, 43.6 MB/s

device-mapper: snapshots: Invalidating snapshot: Unable to allocate exception.

创建文件的过程中,一个报错出现了,snapshot已经无效。我们看看snapshot卷的详细信息。

# lvdisplay /dev/vg/lvdata-sp

/dev/vg/lvdata-sp: read failed after 0 of 4096 at 0: 输入/输出错误

— Logical volume —

LV Name /dev/vg/lvdata-sp

VG Name vg

LV UUID Yl0fQU-Ve9T-lfmp-xJPq-Uwrd-RVVM-lDDVz0

LV Write Access read/write

LV snapshot status INACTIVE destination for /dev/vg/lvdata

LV Status available

# open 0

LV Size 200.00 MB

Current LE 50

COW-table size 20.00 MB

COW-table LE 5

Snapshot chunk size 8.00 KB

Segments 1

Allocation inherit

Read ahead sectors 0

整个snapshot卷已经出现I/0错误了,而且snapshot的状态也是“INACTIVE”。

是否能挂载上来呢?

# mount /dev/vg/lvdata-sp /media/snapshot/

mount: you must specify the filesystem type

#dmesg

Buffer I/O error on device dm-0, logical block 0

Buffer I/O error on device dm-0, logical block 1

Buffer I/O error on device dm-0, logical block 2

Buffer I/O error on device dm-0, logical block 3

Buffer I/O error on device dm-0, logical block 4

Buffer I/O error on device dm-0, logical block 5

Buffer I/O error on device dm-0, logical block 6

Buffer I/O error on device dm-0, logical block 7

Buffer I/O error on device dm-0, logical block 8

Buffer I/O error on device dm-0, logical block 9

hfs: unable to find HFS+ superblock

从dmesg的错误信息来看,超级块的信息也丢失了

尝试激活一下lvdata-sp

# lvchange -ay /dev/vg/lvdata-sp

/dev/vg/lvdata-sp: read failed after 0 of 4096 at 0: 输入/输出错误

恩,这个snapshot已经被释放了,所以剩下要做得事情就是删除它。

# lvremove /dev/vg/lvdata-sp

/dev/vg/lvdata-sp: read failed after 0 of 4096 at 0: 输入/输出错误

Do you really want to remove active logical volume “lvdata-sp”? [y/n]: y Logical volume “lvdata-sp” successfully removed

b)利用snapshot在线备份MySQL数据库(或者其他数据库)

流程是先做一个flush操作,并锁定表,然后创建snapshot,然后解锁,然后备份数据,最后释放snapshot。这样,MySQL几乎不会中断其运行。

FLUSH TABLES WITH READ LOCK;

! lvcreate –size 100m –snapshot –name snap /dev/VolGroup01/LogVol00 UNLOCK TABLES;

接着做一些备份的工作

mkdir /snap

mount /dev/VolGroup01/snap /snap

# This is where you back up whatever you need from /snap, e.g. rsync(1)

umount /snap

lvremove /dev/VolGroup01/snap rmdir /snap

基础架构及服务器虚拟化解决方案

网络基础架构及数据中心规划方案 2016年11月

目录 一.网络建设需求 (3) 1.1 目标架构: (3) 1.2设计目标: (3) 二. 规划方案 (4) 2.1 方案拓扑 (4) 2.2 架构说明 (5) 2.3 为什么选用Vmware虚拟化技术(整个方案的重点) (6) 2.4 VMware方案结构 (7) 2.4.1 基础架构服务层 (7) 2.4.2 应用程序服务层 (9) 2.4.3 虚拟应用程序层 (14) 2.4.4 数据备份 (15) 2.4.5 具体方案陈述 (20) 2.5 VMWARE方案带来的好处 (21) 2.5.1 大大降低TCO (21) 2.5.2 提高运营效率 (23) 2.5.3 提高服务水平 (24) 三. 项目预算 (24) 总述

为推进公司信息化建设,以信息化推动公司业务工作改革与发展,需要在集团总部建设新一代的绿色高效能数据中心网络。 一.网络建设需求 1.1 目标架构: 传统组网观念是根据功能需求的变化实现对应的硬件功能盒子堆砌而构建企业网络的,这是一种较低效率的资源调用方式,而如果能够将整个网络的构建看成是由封装完好、相互耦合松散、但能够被标准化和统一调度的“服务”组成,那么业务层面的变更、物理资源的复用都将是轻而易举的事情。最终形成底层资源对于上层应用就象由服务构成的“资源池”,需要什么服务就自动的会由网络调用相关物理资源来实现。 1.2设计目标: 扩展性: 架构设计能应对集团未来几年的发展以及满足整合分公司资源的需要; 简化管理 使上层业务的变更作用于物理设施的复杂度降低,能够最低限度的减少了物理资源的直接调度,使维护管理的难度和成本大大降低。 高效复用 得物理资源可以按需调度,物理资源得以最大限度的重用,减少建设成本,提高使用效率。即能够实现总硬件资源占用降低了,而每个业务得到的服务反而更有充分的资源保证了。 网络安全:

虚拟化解决方案

虚拟化解决方案

虚拟化解决方案 深圳市深信服科技有限公司 11月

第一章需求分析 1.1高昂的运维和支持成本 PC故障往往需要IT管理员亲临现场解决,在PC生命周期当中,主板故障、硬盘损坏、内存没插紧等硬件问题将不断发生,而系统更新、补丁升级、软件部署等软件问题也非常多,对于IT 管理员来说,其维护的工作量将是非常大的。同时,桌面运维工作是非常消耗时间的,而这段时间内将无法正常进行网上工作,因此也会影响到工作效率。最后,从耗电量方面来讲,传统PC+显示器为250W,那么一台电脑将产生高达352元/年【0.25(功耗)*8(每天8小时工作)*0.8(电费,元/千瓦时)*240(工作日)】本机能耗成本,而电脑发热量也比较大,在空间密集的情况下,散热的成本也在逐步上升。 因此,IDC预测,在PC硬件上投资10元,后续的运营开销将高达30元,而这些投资并不能为学校带来业务方面的价值,也即投入越大,浪费越多。 1.2 不便于进行移动办公 传统的PC模式将办公地点固定化,只能在办公室、微机房等固定区域进行办公,大大降低了工作的效率和灵活性,无法适应移动化办公的需求。

1.3数据丢失和泄密风险大 信息化时代,其数据存储和信息安全非常重要,在信息系统中存储着大量的与工作相关的重要信息。可是传统PC将数据分散存储于本地硬盘,PC硬盘故障率较高,系统问题也很多,这使得当出现问题时数据易丢失,同时由于数据的分散化存储,导致数据的备份及恢复工作非常难以展开,这些都是棘手的问题。另外,PC/笔记本上的资料能够自由拷贝,没有任何安全策略的管控,存在严重的数据泄密风险。 综上所述,桌面云解决方案是业界IT创新技术,当前已在众多行业机构得到广泛应用。经过基于服务器计算模式,将操作系统、应用程序和用户数据集中于数据中心,实现统一管控。此方案可经过革新的桌面交付模式,解决当前桌面管理模式中存在的运维难、不安全、灵活性差等问题,实现高效、便捷、防泄密的经济效益。

快照(计算机存储和备份)

快照(计算机存储) 来自维基百科,开放性的百科全书(译者:闫斌) 在计算机系统中,快照是系统在某个时间点的状态。该术语的产生源于类似摄影中的快照。它可以指系统状态的实际副本或由某些系统提供的功能。 目录 1.原理 2.实现 2.1卷管理器 2.2文件系统 2.3在数据库中的应用 2.4在虚拟化中的应用 2.5其他应用 3.参见 4.注意 5.外部链接 原理 要完成一份大数据集的完整备份可能会花去大量时间。在多任务或多用户系统中,当数据正在备份时,可能会有数据写入数据集。这就阻碍了备份的原子性,并引入了版本不一致,这可能会导致数据损坏。例如,如果一个用户移动一个文件到一个已经备份的文件夹中,那么这个文件在备份介质上会完全丢失,因为在添加文件前备份操作已经发生。 版本不一致也可能导致文件损坏,例如在读取文件时改变文件的大小和内容。

一个安全备份实时数据的方法是在备份过程中使写访问失效,或者停止正在访问数据的应用程序,或者使用操作系统提供的加锁应用程序接口(locking API)强制执行只读访问。 这对于低可用性系统(台式电脑和小型工作组服务器,常规的停机时间是可以接收的)可 以容忍。但是高可用性系统不能容忍业务停止。 为避免停机时间,高可用性系统可能转为采用执行基于快照(在某个时间点上数据集的只读副本)的备份,并允许应用程序继续写入数据。大多数快照实现是高效的,可以 在O(1)时间内创建快照。换句话说,创建快照所需要的时间和I/O不会随着数据集合的大 小而增加,而直接备份则会随着数据集合的大小按相应比例的增加备份时间和I/O。在某 些系统中,一旦数据集合进行了初始快照,随后的快照仅复制更改的数据,并使用系统初 始快照的指针引用。这种基于指针的机制比数据重复克隆消耗更少的磁盘容量。 读写快照有时也被称为分支快照,因为它们隐式地创建了数据集的分支版本。除了备份和 数据恢复,由于读写快照在管理大的文件集合变更方面的非常有用,它经常用在虚拟化、 沙盒以及虚拟主机安装领域。 实现 卷管理器 一些Unix系统具有快照功能的逻辑卷管理器,这些逻辑卷管理器通过复制更改的块—在这些块被重写前—到其他存储位置—实现写时复制,从而保留了一个自身一致的过去的块 设备镜像。镜像上的文件系统可以在之后被装载,就像在只读介质上一样。 文件系统 一些文件系统,例如 WAFL[note 1] , Plan 9 from Bell Labs(是一个免费的软件分布式操作系统)的fossil文件系统,ODS-5(即Files-11, Hewlett-Packard’s OpenVMS 操作系统使用的文 件系统),从内部跟踪文件的旧版本,并通过一个特殊的命名空间使快照可以使用。其他 的文件系统,像UFS2,提供一个操作系统应用程序接口(API)访问文件历史记录。NTFS

华为交换机虚拟化解决方案

华为交换机虚拟化(CSS) 解决方案 陕西西华科创软件技术有限公司 2016年4月1

目录 一、概述 (3) 二、当前网络架构的问题 (3) 三、虚拟化的优点 (4) 四、组建方式 (5) 三、集群卡方式集群线缆的连接 (5) 四、业务口方式的线缆连接 (6) 五、集群建立 (7) 1. 集群的管理和维护 (8) 2. 配置文件的备份与恢复 (8) 3. 单框配置继承的说明 (8) 4. 集群分裂 (8) 5. 双主检测 (9) 六、产品介绍 (10) 1.产品型号和外观: (14) 2.解决方案应用 (20)

一、概述 介绍 虚拟化技术是当前企业IT技术领域的关注焦点,采用虚拟化来优化IT架构,提升IT 系统运行效率是当前技术发展的方向。 对于服务器或应用的虚拟化架构,IT行业相对比较熟悉:在服务器上采用虚拟化软件运行多台虚拟机(VM---Virtual Machine),以提升物理资源利用效率,可视为1:N的虚拟化;另一方面,将多台物理服务器整合起来,对外提供更为强大的处理性能(如负载均衡集群),可视为N:1的虚拟化。 对于基础网络来说,虚拟化技术也有相同的体现:在一套物理网络上采用VPN或VRF 技术划分出多个相互隔离的逻辑网络,是1:N的虚拟化;将多个物理网络设备整合成一台逻辑设备,简化网络架构,是N:1虚拟化。华为虚拟化技术CSS属于N:1整合型虚拟化技术范畴。CSS是Cluster Switch System的简称,又被称为集群交换机系统(简称为CSS),是将2台交换机通过特定的集群线缆链接起来,对外呈现为一台逻辑交换机,用以提升网络的可靠性及转发能力。 二、当前网络架构的问题 网络是支撑企业IT正常运营和发展的基础动脉,因此网络的正常运行对企业提供上层业务持续性访问至关重要。在传统网络规划与设计中,为保证网络的可靠性、故障自愈性,均需要考虑各种冗余设计,如网络冗余节点、冗余链路等。 图1 传统冗余网络架构 为解决冗余网络设计中的环路问题,在网络规划与部署中需提供复杂的协议组合设计,如生成树协议STP(Spanning Tree Protocol)与第一跳冗余网关协议(FHGR: First Hop Redundant Gateway ,VRRP)的配合,图1所示。 此种网络方案基于标准化技术实现,应用非常广泛,但是由于网络发生故障时环路状态难以控制和定位,同时如果配置不当易引起广播风暴影响整个网络业务。而且,随着IT规模扩展,网络架构越来越复杂,不仅难于支撑上层应用的长远发展,同时带来网络运维过程中更多的问题,导致基础网络难以持续升级的尴尬局面。

VMware虚拟化备份解决方案vSphereDataProtection

VMware虚拟化备份解决方案vSphere Data Protection 版本:V1.0 文档更新日期:2013-10-23 文档创建日期:2013-10-23

前言 文档目的 为与VMware 平台搭配使用而进行了调整的传统备份和恢复解决方案成本过高、速度过慢、过于复杂且太不可靠。客户希望快马加鞭打造出完全虚拟化的环境,他们需要的是专为保护虚拟机设计的可靠的备份解决方案。 VMware vSphere? Data Protection?是一款专为vSphere 环境设计,以EMC? Avamar? 为后盾的备份和恢复解决方案。它提供最为先进的重复数据消除功能,从而可以在高效执行存储和网络备份的同时更快实现恢复。vSphere Data Protection Advanced 与VMware vCenter Server?完全集成,并通过直观的vSphere Web Client 界面在本机加以管理,从而使管理员可以从“单一窗口”管理他们的备份和虚拟基础架构。

目录 1. 概述 (1) 1.1.项目背景 (1) 2. 虚拟化备份解决方案 (2) 2.1.S PHERE D ATA P ROTECTION 功能 (2) 2.2. V S PHERE D ATA P ROTECTION 简介 (3) 2.3.映像级备份和恢复 (3) 2.4.来宾级备份和恢复 (5) 2.5.文件级恢复 (5) 2.6.重复数据消除存储优势 (5) 2.7. V S PHERE D ATA P ROTECTION 体系结构 (6) 2.8. V S PHERE D ATA P ROTECTION 的优势 (8) 2.9. V S PHERE D ATA P ROTECTION的许可方式 (9) 3. VMWARE VSPHERE 平台功能说明 (10) 3.1.1. vSphere VMotion (10) 3.1.2. vSphere HA (10) 3.1.3. vSphere Fault Tolerance(FT容错) (11) 3.1.4. VMware Distributed Resource Scheduler (DRS) ; (12) 3.1.5. vSphere DataProtection(备份) (12) 3.1.6. Replication(复制) (14) 3.1.7. vSphere扩展性 (15) 3.1.8. vSphere ESXi聚合 (15) 3.1.9. vSphere 自动部署 (16) 3.1.10. vSphere 存储DRS (16) 3.1.11. vSphere配置文件驱动的存储 (17)

存储快照技术详解

存储快照技术广泛的应用于在数据保护系统上。这项技术可以显著的缩短恢复时间对象RTO以及恢复目标对象RPO.本文将介绍不同的存储快照技术以及他们分别的优势和劣势。 如下是六种常见的存储快照技术: 写入即复制 写入即转存 克隆或者镜像剥离 后台复制下的写入即复制 增量 可持续性数据保护 写入即复制式快照 写入即复制式快照技术存储快照技术的一种,要求先预留足够的存储空间用做快照内容的存放,之后将会对卷进行快照操作然后存放在之前预留的空间里。在这个初始创建快照的操作中,写入即复制快照技术仅保存那些原始数据存放的位置,却不会拷贝那些真实的数据。这就能确保快照是实时的,且几乎不会对整个系统造成影响。 之后,快照和之前的卷进行比对,来定位那些内容做出改动的数据块。当数据库被改变的时候,原始数据先会被复制到特定的保留区用作快照使用,之后原始的数据才被覆盖。被快照的原始数据块仅当第一次做出更改的时候才会被复制。整个过程可以保证快照数据和快照发生时的时间戳是连续的,这也是为什么被称为写入即复制。 对于那些没用被改变数据的读请求会被直接重定向到原来的卷上。而对被改变后数据的读请求会被重定向到快照上的被复制的数据块上。每一份快照都包含了用于描述自从第一份镜像创建以来更改的数据块的信息。 存储快照技术中写入即复制式快照的主要优势是它的空间利用的效率。由于保留的快照存储空间仅仅是用于保存更改的数据,这样就大大的节省了空间。然而这项技术的很明显的一个缺点就是这会降低原始卷的性能。这样说是因为对原始卷的写请求需要先等待原始数据先被复制到快照后才能开始写入。这样以来,写入即复制机制的一个重要方面就是每份快照都需要一份可用的原始数据副本。 写入即转存式快照 写入即转存式快照存储快照技术的一种和写入即复制式快照相似,然而不同之处在于,它解决了双重写入导致的性能问题。写入即转存式快照同样也提供了和写入即复制式快照类似的较高空间利用率的快照服务。之所以写入即转存式快照方式会避免写入带来的性能问题是由于所有对原始卷的写入操作都会重定向到转为快照预留的存储空间上。写入即转存式快照方式将新的写入操作由两次压缩为一次。这样而来,写入操作就不必先将原始数据的一份拷贝写入磁盘存储空间,再写入另一份有变动的数据拷贝的两次操作,唯一需要做的就是对更改的数据作出写入操作。 随着写入即转存式快照方式的应用,原始拷贝都会包含一份及时的快照数据,有改动的数据也不再会存放在快照存储上。在快照删除的时候会稍显复杂。需要被删除的快照首先会被拷贝,以确保和原始卷的连续性。随着更多快照的创建,复杂的程度也呈指数上升。复杂程度不仅限于对原始数据访问上,对快照数据以及原始卷的追逐定位和快照删除上的复杂也是需要考虑的。如果快照依赖的原始数据受到损害,将会带来比较严重的后果。 以上就是本文对常见的存储快照技术以及优劣势的分析,希望对大家会有帮助。 磁盘 在磁盘硬件监测上,你也有类似的问题。磁盘存在一个通用的错误值集合,这些错误值由SMART 技术予以定义并加以搜集。如果你有JBOD(简单磁盘捆绑)或者低端的RAID(独立磁盘冗余阵列),那么你可以购买一个软件包来帮助你搜集SMART数据。 那么对于我们这些拥有来自大型厂商的大型RAID系统的用户来说又会怎样呢?所有这些厂商都会监测SMART统计数据,并根据它们所搜集的来自驱动器厂商的信息、历年来所搜集的统计信息,以

服务器虚拟化备份和灾难恢复

服务器虚拟化备份和灾难恢复 Adam Fazio 概览: 目录 灾难恢复计划101 灾难恢复和虚拟化 物理到虚拟转换 虚拟机快照 备份Hyper-V Windows Server Backup 使用WSB 备份VM 注意事项 使用WSB 恢复VM Data Protection Manager 脚本化备份 DiskShadow 总结 随着服务器虚拟化技术的发展和在行业中愈发广泛地普及,许多组织逐渐意识到它还有着超常的优势:降低基础结构成本并提高IT 灵活性。下一项前沿技术将使用虚拟化平台作为启用或加强灾难恢复(DR) 战略的方法。 为什么DR 准备始终是IT 行业所面临的最热门话题之一呢?研究表明:公司每停机一小时将平均损失$80,000 到$90,000,并且几乎没有任何公司能够在出现灾难性数据丢失后仍能长期生存。本文将介绍使用Microsoft 虚拟化平台的DR,并深入探讨了Windows Server 2008 Hyper-V 备份和恢复选项及注意事项。 灾难恢复计划101 DR 是在出现停用时恢复关键服务的过程,它应该是每个公司业务连续计划的一部分,该计划定义公司在此类灾难期间或之后将如何继续履行其职能。这些计划是所有DR 活动的基础。 有些供应商宣称其DR 自动化技术足够好,需要历经演练的详细计划的机率很小,甚至不需要这类计划。虽然可以说自动化能够改善恢复时间并减轻对人工干预的依赖,但我们还是要郑重指出:您不可能仅凭技术成功减轻灾难。人员和流程的重要性与技术相比始终不相上下。 事实上,您会发现如果没有事先从DR 计划流程中了解所有限制和目标,几乎不可能选择正确的技术。虽然本文不讨论定义整个DR 计划,但我想强调这些元素是选择正确的技术和实施方案时所必需的。所以我们先大致看一下DR 计划中一些关键的技术推动因素。 服务定义和优先级您所尝试保护的整个服务具体由什么定义,它对公司的重要性有多高?图1显示可能包含在任何DR 计划中的公司服务示例。

oracle快照详解

Oracle 物化视图 一. 理论部分 Oracle的物化视图是包括一个查询结果的数据库对像,它是远程数据的的本地副本,或者用来生成基于数据表求和的汇总表。物化视图存储基于远程表的数据,也可以称为快照。 Oracle的物化视图提供了强大的功能,可以用于预先计算并保存表连接或聚集等耗时较多的操作的结果,这样,在执行查询时,就可以避免进行这些耗时的操作,而从快速的得到结果。物化视图有很多方面和索引很相似:使用物化视图的目的是为了提高查询性能;物化视图对应用透明,增加和删除物化视图不会影响应用程序中SQL语句的正确性和有效性;物化视图需要占用存储空间;当基表发生变化时,物化视图也应当刷新。 物化视图可以查询表,视图和其它的物化视图。通常情况下,物化视图被称为主表(在复制期间)或明细表(在数据仓库中)。对于复制,物化视图允许你在本地维护远程数据的副本,这些副本是只读的。如果你想修改本地副本,必须用高级复制的功能。当你想从一个表或视图中抽取数据时,你可以用从物化视图中抽取。对于数据仓库,创建的物化视图通常情况下是聚合视图,单一表聚合视图和连接视图。 在复制环境下,创建的物化视图通常情况下主键,rowid,和子查询视图。 REFRESH 子句 [refresh [fast|complete|force] [on demand | commit] [start with date] [next date] [with {primary key|rowid}]] 默认情况下,如果没指定刷新方法和刷新模式,则Oracle默认为FORCE和DEMAND。 物化视图可以分为以下三种类型:包含聚集的物化视图;只包含连接的物化视图;嵌套物化视图。三种物化视图的快速刷新的限制条件有很大区别,而对于其他方面则区别不大。创建物化视图时可以指定多种选项,下面对几种主要的选择进行简单说明: 创建方式(Build Methods):包括BUILD IMMEDIATE和BUILD DEFERRED两种。BUILD IMMEDIATE是在创建物化视图的时候就生成数据,而BUILD DEFERRED则在创建时不生成数据,以后根据需要在生成数据。默认为BUILD IMMEDIATE。 查询重写(Query Rewrite):包括ENABLE QUERY REWRITE和DISABLE QUERY REWRITE两种。分别指出创建的物化视图是否支持查询重写。查询重写是指当对物化视图的基表进行查询时,Oracle会自动判断能否通过查询物化视图来得到结果,如果可以,则避免了聚集或连接操作,而直接从已经计算好的物化视图中读取数据。默认为DISABLE QUERY REWRITE。 刷新(Refresh):指当基表发生了DML操作后,物化视图何时采用哪种方式和基表进行同步。刷新的模式有两种:ON DEMAND和ON COMMIT。 ON DEMAND和ON COMMIT物化视图的区别在于其刷新方法的不同,ON DEMAND指物化视图在用户需要的时候进行刷新,可以手工通过DBMS_MVIEW.REFRESH等方法来进行刷新,也可以通过JOB定时进行刷新,即更新物化视图,以保证和基表数据的一致性;

VMware服务器虚拟化解决方案详细

VMware服务器虚拟化解决方案详细

虚拟化解决方案

目录 一、VMware解决方案概述.......................................... 错误!未定义书签。 1.1 VMware服务器整合解决方案.................................... 错误!未定义书签。 1.2 VMware商业连续性解决方案.................................... 错误!未定义书签。 1.3 VMware测试和开发解决方案.................................... 错误!未定义书签。 二、VMware虚拟化实施方案设计 .............................. 错误!未定义书签。 2.1 需求分析 ................................................................... 错误!未定义书签。 2.2 方案拓扑图 ............................................................... 错误!未定义书签。 2.3 方案构成部分详细说明 .............................................. 错误!未定义书签。 2.3.1 软件需求 ............................................................ 错误!未定义书签。 2.3.2 硬件需求 ............................................................ 错误!未定义书签。 2.4 方案结构描述.............................................................. 错误!未定义书签。 2.4.1 基础架构服务层................................................. 错误!未定义书签。 2.4.2 应用程序服务层................................................. 错误!未定义书签。 2.4.3 虚拟应用程序层................................................. 错误!未定义书签。 2.4.4 VMware异地容灾技术 ...................................... 错误!未定义书签。 2.5 方案带来的好处 .......................................................... 错误!未定义书签。 2.5.1 大大降低TCO ..................................................... 错误!未定义书签。 2.5.2 提高运营效率..................................................... 错误!未定义书签。 2.5.3 提高服务水平..................................................... 错误!未定义书签。 2.5.4 旧硬件和操作系统的投资保护 ......................... 错误!未定义书签。 2.6 与同类产品的比较 ...................................................... 错误!未定义书签。

快照备份数据

一、概念解释 快照(Snapshot)的定义是:关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本,也可以是数据的一个复制品。而从具体的技术细节来讲,**快照是指向保存在存储设备中的数据的引用标记或指针**。 二、快照技术类型 快照技术的作用: 1. 主要是能够进行在线数据恢复,当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复, 将数据恢复成快照产生时间点的状态。 2. 快照的另一个作用是为存储用户提供了另外一个数据访问通道,当原数据进行在线应用处理时, 用户可以访问快照数据,还可以利用快照进行测试等工作。 因此,所有存储系统,不论高中低端,只要应用于在线系统,那么快照就成为一个不可或缺的功能。创建一个快照不同的设备需要不同的命令,但对于系统来说,基本都包括如下几个步骤: 1、首先发起创建指令; 2、在发起时间点,指令通知操作系统暂停应用程序和文件系统的操作; 3、刷新文件系统缓存,结束所有的读写事务;

4、创建快照点; 5、创建完成之后,释放文件系统和应用程序,系统恢复正常运行。 现在,快照技术已经超越了简单的数据保护范畴。 我们可以用快照进行高效且无风险的应用软件测试。用快照数据做测试,不会对生产数据造成任何的破坏。对于数据挖掘(data mining)和电子发现(eDiscovery)应用,快照也是理想的测试数据源。在灾难恢复方面,快照是一种非常有效的方法——甚至是首选,非常适合遭到恶意软件攻击、人为误操作和数据损坏等逻辑错误发生时的数据恢复。过去我们认为只有磁盘阵列具备快照功能,但事实上磁盘阵列只是其中之一而已。**广义的快照技术通常可有7个不同类型的实现主体:** 1、主机文件系统(包括服务器、台式机、笔记本电脑); 2、逻辑卷管理器(LVM); 3、网络附加存储系统(NAS); 4、磁盘阵列; 5、存储虚拟化设备; 6、主机虚拟化管理程序; 7、数据库。 下面将逐项介绍一下在各个系统中快照技术的应用,并对其进行详细的 1、基于文件系统的快照 很多文件系统都支持快照功能,微软的Windows NTFS有VSS卷影拷贝服务(Volume Shadow Copy Services, Vista称作Shadow Copy);Sun Solaris 的最新文件系统ZFS(Zettabyte File System);Apple公司的Mac OS X

快照技术原理

随着存储应用需求的提高,用户需要在线方式进行数据保护,快照就是在线存储设备防范数据丢失的有效方法之一,越来越多的设备都开始支持这项功能。 越来越多的存储设备支持快照功能,在这些产品的资料中宣传了各自快照技术的优势,有的是快照数量多,有的是占用空间小。那么,究竟什么是快照技术?主要有哪些类型?接下来我们深入了解一下。 快照的定义与作用 SNIA(存储网络行业协会)对快照(Snapshot)的定义是:关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本,也可以是数据的一个复制品。 而从具体的技术细节来讲,快照是指向保存在存储设备中的数据的引用标记或指针。我们可以这样理解,快照有点像是详细的目录表,但它被计算机作为完整的数据备份来对待。 快照有三种基本形式:基于文件系统式的、基于子系统式的和基于卷管理器/虚拟化式的,而且这三种形式差别很大。市场上已经出现了能够自动生成这些快照的实用工具,比如有代表性的有NetApp的存储设备基于文件系统实现,高中低端设备使用共同的操作系统,都能够实现快照应用;HP的EVA、HDS通用存储平台以及EMC的高端阵列则实现了子系统式快照;而Veritas则通过卷管理器实现快照。 快照的作用主要是能够进行在线数据恢复,当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复,将数据恢复成快照产生时间点的状态。快照的另一个作用是为存储用户提供了另外一个数据访问通道,当原数据进行在线应用处理时,用户可以访问快照数据,还可以利用快照进行测试等工作。 因此,所有存储系统,不论高中低端,只要应用于在线系统,那么快照就成为一个不可或缺的功能。 两种类型 目前有两大类存储快照,一种叫做即写即拷(copy-on-write)快照,另一种叫做分割镜像快照。 即写即拷快照可以在每次输入新数据或已有数据被更新时生成对存储数据改动的快照。这样做可以在发生硬盘写错误、文件损坏或程序故障时迅速地恢复数据。但是,如果需要对网络或存储媒介上的所有数据进行完全的存档或恢复时,所有以前的快照都必须可供使用。 即写即拷快照是表现数据外观特征的“照片”。这种方式通常也被称为“元数据”拷贝,即所有的数据并没有被真正拷贝到另一个位置,只是指示数据实际所处位置的指针被拷贝。在使用这项技术的情况下,当已经有了快照时,如果有人试图改写原始的LUN上的数据,快照软件将首先将原始的数据块拷贝到一个新位置(专用于复制操作的存储资源池),然后再进行写操作。以后当你引用原始数据时,快照软件将指针映射到新位置,或者当你引用快照时将指针映射到老位置。 分割镜像快照引用镜像硬盘组上所有数据。每次应用运行时,都生成整个卷的快照,而不只是新数据或更新的数据。这种使离线访问数据成为可能,并且简化了恢复、复制或存档一块硬盘上的所有数据的过程。但是,这是个较慢的过程,而且每个快照需要占用更多的存储空间。 分割镜像快照也叫作原样复制,由于它是某一LUN或文件系统上的数据的物理拷贝,有的管理员称之为克隆、映像等。原样复制的过程可以由主机(Windows上的MirrorSet、Veritas 的Mirror卷等)或在存储级上用硬件完成(Clone、BCV、ShadowImage等)。 三种使用方法 具体使用快照时,存储管理员可以有三种形式,即冷快照拷贝、暖快照拷贝和热快照拷贝。冷快照拷贝

虚拟化容灾备份方案

“云计算”最经济容灾备份解决方案基于数腾CDAP产品

目录 第1章................................................................................................................................................ 背景 (3) 1.1什么是“云计算”和“虚拟化”? (3) 1.2虚拟化价值与应用 (3) 1.3虚拟化的担忧 (3) 第2章........................................................................................................ 虚拟化风险与相关容灾技术 (4) 2.1“云计算”虚拟化的风险 (4) 2.2虚拟化平台容灾备份误区 (5) 2.3虚拟化平台容灾相关技术描述 (6) VMware HA (6) VMware Fault Tolerance (6) VMotion (6) VMware DRS (6) 2.4现有虚拟化容灾备份方案分析 (7) 基于vStorage API 技术备份和VMware Consolidated Backup (7) VMware vCenter Site Recovery Manager (8) 第3章...................................................................................................... CDAP 精简的云计算容灾方案 (9) 3.1CDAP是什么? (9) 3.2方案架构图 (9) 3.3虚拟机实时备份的实现 (10) 3.4虚拟机快速接管的实现 (11) 3.5虚拟机快速恢复的实现 (11) 3.6CDAP在系统迁移中应用 (12) 第4章............................................................................................................................ 方案的价值总结. (13) 第5章........................................................................................................................................ 配置预算. (14) 第6章.................................................................................................................... 数腾虚拟化容灾案例. (14)

第一章、快照(Snapshot)技术发展综述

第一章、快照(Snapshot)技术发展综述 摘要:传统数据备份技术存在备份窗口、恢复时间目标RTO和恢复时间点RPO 过长的问题,无法满足企业关键性业务的数据保护需求,因此产生了数据快照技术。本文对快照技术的概念、特点、实现技术和发展现状进行了概括性阐述,并对其未来的发展进行了展望。 关键词:快照,备份,复制,镜像,写时复制,指针重映射 作者简介:刘爱贵,研究方向为网络存储、数据挖掘和分布式计算;毕业于中科院,目前就职于赛门铁克@Symantec,从事存储软件研发。Email: Aigui.Liu@https://www.360docs.net/doc/8217290535.html, 注:作者学识和经验水平有限,如有错误或不当之处,敬请批评指正。 PDF格式下载:https://www.360docs.net/doc/8217290535.html,/source/1613486 一. 引言 随着计算机技术和网络技术的不断发展,信息技术水平不断得到提高。人类进入称为信息社会的二十一世纪后,诸如数字通信、数字多媒体、电子商务、搜索引擎、数字图书馆、天气预报、地质勘探、科学研究等海量数据型应用的涌现,各种信息呈现爆炸式的增长趋势,存储成为信息计算技术的中心。应用对存储系统的要求不断提高,存储容量不断升级,从GigaByte到TeraByte、 PetaByte、ExaByte,愈显巨大。图灵奖获得者Jim Gray提出一个新的经验定律:网络环境下每18个月生产的数据量等于有史以来的数据量之和。与此同时,现代企业对计算机的依赖性严重增强,信息数据逐渐成为企业赖以生存的基础,数据损坏或丢失将给企业带来巨大的损失。由于黑客、病毒、硬件设备的失效以及火灾、地震等自然灾害的原因,使系统和数据信息遭到破坏甚至毁灭,如果不及时地进行恢复,将对企业造成巨大的损失,所以备份容灾技术显得尤为重要。尤其,9.11等事件造成的灾难性后果使人们更加深刻地认识到数据信息的价值和意义,日益重视数据的保护。 在过去的20多年中,虽然计算机技术取得了巨大的发展,但是数据备份技术却没有长足进步。数据备份操作代价和成本仍然比较高,并且消耗大量时间和系统资源,数据备份的恢复时间目标和恢复点目标比较长。传统地,人们一直采用数据复制、备份、恢复等技术来保护重要的数据信息,定期对数据进行备份或复制。由于数据备份过程会影响应用性能,并且非常耗时,因此数据备份通常被安排在系统负载较轻时进行(如夜间)。另外,为了节省存储空间,通常结合全量和增量备份技术。 显然,这种数据备份方式存在一个显著的不足,即备份窗口问题。在数据备

虚拟化环境备份解决方案

XXXX虚拟化平台数据保护解决方案

目录 第1 章前言 (4) 第2 章虚拟化保护面临的挑战 (6) 2.1数据的迅猛增长 (6) 2.2大量的冗余数据 (6) 2.3资源争用问题 (6) 2.4数据备份一致性问题 (7) 2.5数据保护和容灾备份 (7) 2.6出现问题后的恢复 (8) 第 3 章虚拟化数据保护设计原则 (9) 3.1备份恢复服务级别定义 (9) 3.2虚拟化备份架构参考 (12) 第4 章XXXX虚拟化环境数据保护架构建议 (13) 4.1总体备份方案和说明 (14) 4.2利用DPS for VM对虚机实现全面的保护 (18) 4.2.1RecoverPoint for VMs实现VM的容灾和连续数据保护 (18) 4.2.2Avamar for VMs 集成DataDomain实现VM时间点的数据备份 (20) 4.2.3Data Protection Advisor (DPA)管理数据保护环境 (23) 4.2.4DP Search对备份数据进行常规索引和搜索功能 (24) 4.3利用DD保证数据可恢复 (25) 4.4备份策略规划建议 (26) 4.5虚机的恢复 (28) 4.6方案特点说明 (28) 4.6.1RP4VM的特点 (28) 4.6.2Avamar for VM的特点 (29) 4.6.3DD3300的特点 (30) 4.7产品配置清单(初步建议) (30) 第5 章方案产品介绍 (32)

XXXX虚化拟平台数据保护方案 5.1RecoverPoint for VMs介绍 (32) 5.2A V AMAR和DATA DOMAIN集成 (32) 5.3DELLEMC Avamar介绍 (37) 5.4DELLEMC DataDomain介绍 (40) 5.4.1DD Boost (40) 5.4.2无缝接入、部署和运行 (43) 5.4.3重复数据删除率高 (43) 5.4.4多协议支持、NAS 以及易用性 (44) 5.4.5可靠性和数据一致性 (44) 5.4.6Data Domain 的容灾功能 (45) 5.4.7绿色节能 (48) 5.4.8优异的集中管理和主动维护服务 (48)

课题_SQLSERVER数据库快照的工作方式

SQLSERVER数据库快照的工作方式 每周六凌晨1点会出现以下信息,服务器及数据库未出现重启,节点未切换,filestream access level =0,请各位高手帮忙解释,是什么原因导致的。Configuration option 'user options' changed from 0 to 0. Run the RECONFIGURE statement to install. FILESTREAM: effective level = 0, configured level = 0, file system access share name = 'MSSQLSERVER'. 148 transactions rolled forward in database 'XX_DB' (12). This is an informational message only. No user action is required. 1 transactions rolled back in database 'XX_DB' (12). This is an informational message only. No user action is required. Recovery completed for database XX_DB (database ID 12) in 21 second(s) (analysis 22 ms, redo 15062 ms, undo 3293 ms.) This is an informational message only. No user action is required. 为什麽会有rolled back和rolled forward? 回复者给出了下面答案: 是DBCC CHECKDB造成的,由于DBCC CHECKDB在执行时要先创建一个数据库快照,所以才会有这些提示。 这些提示并不是针对当前数据库,而是针对快照库,所以当前数据库不会有rolled forward和rolled back。 如果还有伴有其它error信息,才可能是真的遇到问题了。 参考: ://https://www.360docs.net/doc/8217290535.html,/Forums/sqlserver/en-US/46e87f6e-5725-4c46-95b6-b458ab993cd7/transactions-being-rolled-back-and-forward-by-dbcc-che ckdb-is-this-ok ://https://www.360docs.net/doc/8217290535.html,/Forums/Topic617175-149-1.aspx#bm617327 ://https://www.360docs.net/doc/8217290535.html,/kb/926070/zh-cn 但是回复者还没有回复一个问题: Configuration option 'user options' changed from 0 to 0. Run the RECONFIGURE statement to install. FILESTREAM: effective level = 0, configured level = 0, file system access share name = 'MSSQLSERVER'. 为什麽会出现FILESTREAM??LZ说他们的系统没有使用到FILESTREAM的相关功能 今晚又看了一篇文章《如何大幅提高DBCC CHECKDB/DBCC CHECKTABLE的性能》 里面说到: 正常情况下,CHECKDB/CHECKTABLE的运行不会对数据库使用排它锁,而是使用内部数据库快照(internal database snapshot)。 这个内部数据库快照实质就是Sparse Filestream, 它使用sparse file,COPY-ON-WRITE技术。

虚拟化对备份和恢复的意义

虚拟化是否行之有效?虚拟化对备份和恢复的意义本白皮书的适用受众 中小型企业所有者和 IT 经理白皮书:备份和恢复

目录 简介:确实势在必行. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1回归现实. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1提出合理的要求. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2备份后患. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3更智能的解决方案. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

相关文档
最新文档