数据备份技术方案

数据备份技术方案

目录

1.前言 (3)

2.文件级备份 (3)

3.块级备份 (3)

4.远程文件复制 (4)

5.远程卷镜像 (4)

6.快照技术 (5)

6.1.基于文件系统的快照 (6)

6.2.基于物理卷的快照 (10)

6.3.RoFW方式与CoFW方式比较 (12)

6.4.快照的意义 (15)

7.卷Clone技术 (17)

7.1.备份到本地磁盘 (18)

7.2.备份到SAN上的磁盘 (19)

7.3.备份到NAS目录 (19)

7.4.备份到磁带库 (20)

7.5.信息生命周期管理 (20)

7.6.分级存储 (20)

8.备份通路 (21)

8.1.本地备份 (21)

8.2.通过前端网络备份 (21)

8.3.通过后端网络备份 (22)

https://www.360docs.net/doc/7112784446.html,N Free备份 (23)

8.5.Server Free备份 (23)

9.备份策略 (24)

9.1.备份服务器 (24)

9.2.介质服务器 (25)

10.三种备份方式 (26)

10.1.完全备份 (26)

10.2.增量备份 (26)

1.前言

备份是为了增强企业关键数据可靠性和数据冗余性，备份的必要性不言而喻。本文探讨备份常用的技术和分类。

所谓数据保护技术是指对当前时间点上的数据进行备份，如果说原始数据被误删除了，可以通过备份数据找回或恢复数据。从底层来分，数据保护可以分为文件级保护和块级保护。

2.文件级备份

文件级备份：将磁盘上所有文件通过调用文件系统接口备份到另一个介质上。也就是把数据以文件形式读出，然后存储在另一个介质上面。此时备份软件只能感知到文件这一层。

我们知道一般来说，文件在原来的介质上，可以是不连续存放的，通过文件系统来管理和访问。当备份到新的介质上以后，文件完全可以连续存放。正因为如此，没有必要备份元数据，因为利用新介质进行恢复的时候，反正会重构文件系统。

3.块级备份

块级备份：就是不管块上是否有数据，不考虑文件系统的逻辑，备份块设备上的每个块。

这样好处是不通过调用文件系统接口，速度更快，缺点的是备份的时候会把所有的块复制一遍，但是实际上很多扇区的数据是不对应真实文件的，也就是会备份很多僵尸扇区。而且备份之后，原来不连续的文件一样是不连续的文件，有很多的碎片。

4.远程文件复制

远程文件复制：通过网络传输到异地容灾点。典型的代表是rsync异步远程文件同步软件。可以监视文件系统的动作，将文件的变化，同步到异地站点。增量复制。

5.远程卷镜像

这是基于块的远程备份。与远程文件复制不同的地方在于，是把块数据备份到异地站点。又可以分为同步和异步复制。

?同步复制：必须等数据复制到异地站点以后，才通报上层IO成功消息

?异步复制：写入成功即可回复成功，然后通过网络传输到异地。不能保证一致性，但是上层响应快。

基于块的备份措施，一般都是在底层设备上进行，不耗费主机资源。

6.快照技术

远程镜像确实是对生产数据一种非常好的保护，但是需要镜像卷一直在线，主卷有写IO，那么镜像卷也需要有写IO。

如果想对镜像卷进行备份，需要将停止主卷的读写，然后将两个卷的镜像关系分离。所以当恢复主卷的IO的时候，镜像卷不会再被读写。然后才可以备份镜像卷的数据。

这样会存在一个问题，主卷上还继续有IO，将会导致数据与备份的镜像不一致。所以主卷上所有的写IO动作，会以位图BitMap方式记录下来，BitMap上的每个位表示卷上的一个块，0表示未写入，1表示已写入，所以当拆分镜像以后，被写入了数据，程序将BitMap文件对应位从0变为1。备份完成以后，再做数据同步即可。

可以看出上述过程比较的繁琐，而且需要占用一块和主卷一样大小的镜像卷。

快照技术就是为了解决这种问题，其基本思想是抓取某一时间点磁盘卷上的所有数据。

快照分为：基于文件系统的快照和基于物理卷的快照，下面介绍一下快照的底层原理。

6.1.基于文件系统的快照

文件系统管理的精髓：链表、B树、位图，也就是元数据。

文件系统

?将扇区组合成更大的逻辑块来降低管理规模。NTFS最大块可以到4KB，也就是8个扇区一组一个簇(Block)，这样可以减少管理成本。

?文件系统会创建所管理存储空间上所有簇的位图文件。每个位代表卷上的簇(或者物理扇区)是否被使用，如果被使用，则置1。

?文件系统保存一份文件和其对应簇号的映射链。因为映射链本身和簇位图也是文件，也有自己的映射链，所以针对重要的元数据，有一个固定的入口: root inode。

写入新数据

?查找簇位图，找位值为0的簇号

?计算所需空间，分配簇号给文件

?将数据写入簇，再去文件——簇号映射图更新

?将对应的簇映射关系记录下来，到簇位图将对应位置改为1。

删除数据

?直接在簇号映射链中抹掉

?簇位图对应簇改为0。

可以看出删除数据实际上不会抹掉实际的数据。所以，最重要的不是数据，而是文件——簇号映射链和位图等元数据。

也就是说我们要做备份，只需要把某时刻的文件系统中的映射图表保存下来。但是必须保证卷上的数据不被IO写入了，同时又要不应用还不能中断。既然原来的空间不能再写了，我们可以写到其他的空闲区域。

?思路一：Copy on First Write (CoFW)，在覆盖数据块之前，需要将被覆盖的数据块内容复制出来，放到空闲的空间。

?系统中将有两套元数据链，原来的元数据指向当前，快照的元数据链指向历史。原来的存储空间永远是最新的数据，历史数据会逐渐搬出到空闲空间里面。

?思路二：Redirect on First Write (RoFW)。先复制元数据，然后将针对源文件的更改都重定向到空余空间，同时更新元数据。

?与CoFW不同的是，原来的数据块不会被覆盖。同样的，系统也有两套元数据，一套是快照保存下来的，永远不更新，一套是源文件系统的，不断的更新。

其实只有首次覆盖的时候，才重定向，因为重定向以后的数据块，哪怕被覆盖了，也不影响之前快照保存的数据了。

到这一步，看上去挺完美，实际上存在一个问题: 如果元数据特别大怎么办？对于海量庞大的文件系统，元数据量可能到GB级别。如果复制的话，时间上仍然太多。

我们可以回头想想，实际上元数据可以看做指针，指向具体存储的位置。我们复制到元数据，相当于复制了一堆指针。现在元数据太多了，我们能不能把这个元数据链的指针给复制了？当然可以，元数据有个根入口块，或者称为Super Block，这个块是固定不变的，里面存放有指向下一级元数据链块的指针。

那么操作系统每次载入元数据的时候，都需要从这个地址读入Super Block，从而一层一层的遍历。

6.2.基于物理卷的快照

基于物理卷的快照比文件系统快照要简单得多。因为LUN一般在底层磁盘上是恒定的，不像文件系统一样可以随机细粒度的分布。所以可以认为LUN的元数据就是在底层磁盘的起始和结束地址。这样在快照的时候，需要复制的元数据就更少了，但是完成了以后，需要按照一定粒度来做CoFW或者RoFW，还需要记录更多数据映射指针，就比较难受了。

对于实现了块级虚拟化的系统如NetApp、XIV、3PAR等，它们的LUN在底层位置是不固定的，LUN就相当于一个文件，存在元数据链来进行映射管理的维护，所以这些系统实现快照的原理与文件系统快照类似。

基于物理卷的快照，相当于给物理卷增加了“卷扇区映射管理系统”。在底层卷实现快照，可以减轻文件系统的负担。

卷扇区方都是用LBA来编号的，实现快照的时候，程序首先保留一张初始LBA表，每当有新的写入请求的时候，重定向到另一个地方，并在初始的LBA表中做好记录，比如:

原始LBA：卷A的10000号，映射到LBA：卷B的100号。

值得说明的是，文件系统无法感知重定向，文件系统在它的映射图里面还是记录了原始的LBA地址。此时如果来了新的写IO，有两种方式一种是Write Redirect，另外一种是Copy on Write。

所谓Write Redirect就是将文件系统的读写请求，重定向到卷B，这样每次IO其实都会查找快照映射表，降低了性能。所以引入了Copy on Write。

所谓Copy on write，就是当写请求来的时候，先把原来的扇区的数据复制一份到空闲卷，然后将新数据写入原卷。不过这种复制操作只发生在原卷某个或者快照之后从未更新过的块上面，若是某个块在快照之后更新过了，说明之前的数据已经转移走了，可以放心的覆盖。

所以Copy on Write实际上是让旧数据先占着位置，等新数据来了以后先把原来的数据复制走，再更新，而且一旦更新了一次，可以直接覆盖。

带来的好处是，原卷上的数据随时是最新的状态，每个IO可以直接访问原卷的地址，而不需要遍历映射表。

6.3.RoFW方式与CoFW方式比较

不管是RoFW还是CoFW,只要上层向快照后没有更新过的数据块进行写，都需要占用一个新的块。所以如果将所有扇区块都更新了，新卷的容量和原来的容量应该一样大，但是通常不会覆盖百分之百，所以只要预设原容量的30%即可。

IO资源消耗：

?CoFW方式下，如果要更新一个从未更新的块，需要复制出来，写到新卷，然后覆盖原来的块，需要一次读，2写。

?RoFW方式下，只需要一次写即可，也就是直接重定向到新卷上，然后更新映射图中的指(在内存中进行)。

所以RoFW相对CoFW方式在IO资源消耗与IO延迟上有优势。

由于只有首次覆盖才会Copy或者Redirect，那么如何区分是否是首次覆盖呢？可以使用记录表(文件级快照)或者位图(卷快照)来记录每个块是否被覆盖过。

对于读IO：

?CoFW：因为总是更新的源卷，所以源卷总是代表最新的状态，所以任何读IO都会发到源来执行。

?RoFW：需要首先查询位图来确定目标地址是否被处理过，如果是，则转向重定向后的地址。

RoFW会影响读性能，因为重定向出去以后，数据块排布都是乱的，如果把快照删除后，不好清理战场，严重影响后续的读写性能。

综合来说，RoFW比较吃计算资源，而CoFW比较耗费IO资源。我们知道其实一般来说读比写多，当覆盖第二次以后：

?CoFW不会发生IO惩罚，读IO一直没有惩罚

?对于RoFW，就算完全被Redirect过了，对于读或者写IO，均需要遍历位图，永远无法摆脱对计算资源的消耗。

尤其在LUN卷级快照下，原本卷在底层磁盘分布式是定死的，寻址非常迅速。但是RoFW 引入了，LUN的块随机定向到其他的空间的，所以需要记录新的指针链，而且被写出的块不是连续排列的。对性能影响非常明显的。

绝大多数的厂商使用的还是CoFW，但是一些本来就使用LUN随机分块分布模式的存储系统比如XIV、NetApp等，都使用RoFW，因为原本其LUN的元数据链就很复杂，而且原来就是随机分布的，RoFW的后遗症对它们反而是正常的。

6.4.快照的意义

快照所保存下来的卷数据，相当于一次意外掉电之后卷上的数据。怎么理解?

上层应用和文件系统都有缓存，文件系统缓存的是文件系统的元数据和文件的实体数据。每隔一段时间(Linux一般是30s)批量Flush到磁盘上。而且不是只做一次IO，有可能会对磁盘做多次IO。如果快照生成的时间恰恰在这连续的IO之间，那么此时卷上的数据实际上有可能不一致。