alfresco备份方案

Alfresco 备份

先把附件script奉上：

alfresco_incremental_backup

我们的备份要包括下面三个部分，执行顺序也要按照1，2，3严格执行。

1.备份solr的index文件。

2.备份alfresco使用的数据库。

3.备份alfresco的文件库。

为什么按照这个顺序？原因很简单，因为solr的index比数据库早，意味备份时文件还没及时建立索引，恢复后solr会自动建立。数据库比文件库早，意味在备份时用户还没来得及上传文件。

系统基础篇

在介绍备份前，首先我们先要了解一下备份所用到的核心技术。怎样做到每天备份，并且每天备份的数据都保留下来，这样日后我们可以恢复到任何一天呢？试想一下，如果你有500G的alfresco数据，就算你整个5T的硬盘，做完全备份，也只够10天吧，并且网络的传输量，也会大的惊人。

本文的解决方案是基于linux系统，利用到了linux系统中的硬链接功能。在linux的ext文件格式中，任何一个文件实际由描述文件的inode和存储文件的block所组成，这两个部分并非存储在一起。文件的inode描述了文件的属性以及用于存储文件的block的位置。通过inode，你就可以找到存储文件的block，这个block是真正存储文件内容的部分。block大小是固定的，建立系统时可以自己设定。

存储一个文件，可能不止一个block。但一个block中，只会包含一个文件的内容。inode与block相比，其体积几乎忽略不计。同理，文件夹也是由inode和block组成，不同的是，文件夹的block中所写的内容，实际为文件夹所包含的这些文件的inode信息。

一份文件可以被不止一个的inode索引。这意味我们在系统上看到多份文件，实际这些文件都指向硬盘上的一份block内容。说得再通俗一点，我现在有两个文件：

/folder1/file

/folder2/file

用命令stat /folder1/file 会发现它的inode信息我123456，stat /folder2/file也是一样，并且文件的links 数为2，这说明文件被两个inode指引。分别查看两个文件夹大小，你会发现，他们的体积都是比如说3G，但实际上，这个文件只占了系统3G空间，懂了吧。并且，只有当block没有被任何inode所指引时，才会被删除，意味着你删除了整个folder1，文件仍然在folder2中有效，反之亦然。只有folder1和folder2都删除了，这个文件才被删除。

了解了以上原理，我们在来看下我们的备份。第一天我们做了备份，bak1，其中包含file1，第二天我们也做了备份，bak2，其中包含file1和file2，实际上两个文件内的file1是指向同一份block，所以只会占系统一份体积。但是，我们却又实实在在的拥有两个备份文件夹及其下的文件，他们是独立存在的。删除了bak1后，bak2仍然是个完整的备份。

有了上面的想法，需要有工具来支持。在linxu系统中我们有rsync这个完美的备份工具，稍后我们会用到。

Solr备份篇

备份solr，主要就是备份solr的index文件。关于solr的结构这里就不赘述了，本站有很多文章。solr 的备份原理，请查看此文：Solr数据备份。我们的指导思想就是生成solr的index文件，然后采用增量备份的形式，把index文件同步到目标目录进行备份。

备份步骤：

1. 发送备份请求给solr，在linux中，我们可以用curl这个工具发出https请求。命令如下：

curl --cert ${P12_PATH} --cert-type P12 -k --header content-type:'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)' "${SOLR_WORK_URL}"

具体参数：

${P12_PATH}：这里我们使用curl模仿firefox浏览器，因此要加上浏览器的证书。这个就是指向证书：/home/ecmkit/servers/alfresco-4.0.d/alf_data/keystore/browser.p12:alfresco 的路径，最后那个alfesco是证书的密码。

${SOLR_WORK_URL}：solr目前都采用Restful请求的方式执行任务，该URL要求solr备份

/home/ecmkit/servers/alfresco-4.0.d/alf_data/solr/workspace/SpacesStore下的index文件。我这里的具体命令是“https://localhost:8443/solr/alfresco/replication?command=backup”。发出此请求后，solr 会在SpacesStore下生成一个新的snapshot文件夹。比如我这里的目录：

index snapshot.20120905013526snapshot.20120905045532

snapshot.20120831043843snapshot.20120905013813snapshot.20120905102858

snapshot.20120831045422snapshot.20120905025440spellchecker

snapshot.20120904051558snapshot.20120905034113

snapshot.20120905013344snapshot.20120905043819

注意后面的数字，20120905代表日期，再后面的六个数字代表时分秒。

1. 使用rsync同步solr的index文件到目标目录。

首先要说明的是，我们不能每天都备份所有的index文件。solr产生的snapshot也是很占磁盘空间的。有一点需要说明的是，每个snapshot都是独立存在的，并且两个相邻的snapshot之间的变化很小，很多文件都是一模一样。所以我们需要利用好hardlink，今天(day0)的snapshot在备份时，要基于昨天（day1）的备份，如果备份的文件和昨天一模一样（文件名，大小，修改时间都一致），那我们就不在需要把文件同步到目标文件夹内，而是建立一个inode，即hardlink。

首先我们需要写一段脚本，找到需要备份的目录。比方说今天是9月5号，那么9月5号最后产生的那个snapshot文件夹就是我们要备份的文件夹，这里就是snapshot.20120905045532。看下脚本：SOLR_WORK_INDEX="/home/ecmkit/servers/alfresco-4.0.d/alf_data/solr/workspace/SpacesStore" SNAP_WORK_CREATE_TIME=`ls -l ${SOLR_WORK_INDEX} | grep "snapshot\.${S0LR_TODAY}" | awk '{print $7}' | sort | sed -n '$p'`

SNAP_WORK_FOLDER=$1/`ls -l ${SOLR_WORK_INDEX} | grep

"${SNAP_WORK_CREATE_TIME}" | awk '{print $8}'`

上面的脚本第一行首先设定目标目录，第二行列出目标目录${SOLR_WORK_INDEX}下所有文件夹的详细信息，利用grep抓取今天（9月5日）创建的文件夹的信息，再利用awk抓取所有文件夹创建时间，接下来用sort进行排序，最后用sed打印出最后一样，即最晚的文件创建时间。第三行根据列出的最晚时间，使用grep再次抓取这个时间所对应的文件夹详细信息，最后又用awk拿到文件夹名称，亦即我们需要备份的snapshot目录。

接着再用以下命令进行同步：

#今天的日期：20120905

DAY0=`date -I`

#昨天的日期

DAY1=`date -I -d "1 day ago"`

#目标目录,我们要把snapshot备份到目标服务器上20120905这个目录的workspace文件夹中。TRG_FILE="${BACKUP_FOLDER}/$DAY0/workspace"

#硬链接目录，在目标服务器上做硬链接，是基于这个文件夹做的。注意如果目标服务器和与源服务器不是同一台机器，一定要用相对路径，基于TRG_FILE做相对路径。

LINK_FILE="../../$DAY1/$2"

#${SNAP_WORK_FOLDER}就是上面我们用脚本得出的snapshot路径，注意我在后面加了一个正斜杠，意思是把${SNAP_WORK_FOLDER}内的文件同步过去，而不是${SNAP_WORK_FOLDER}本身，如果不加，会连同${SNAP_WORK_FOLDER}一起同步到目标目录。

rsync --delete -avh -e ssh --link-dest=${LINK_FILE} ${SNAP_WORK_FOLDER}/ ${TRG_FILE}

注意几点：

如果没有--link-dest=${LINK_FILE}，则rsync不会做硬链接，那意味着整个snapshot会被完全拷贝过去，既占网络又占目标磁盘的空间~ 另外rsync自己在做拷贝的时候，如果目标文件已经存在，并且与源文件比较完全一致，就不会再拷贝一遍，很不错的工具哦。

--delete是指某文件在源服务器不存在，但是在备份的目标服务器已经存在，则需要将目标服务器的那个文件删除，以保持跟源服务器一致。

-e ssh，这个指的是我们利用ssh协议进行通讯。对于ssh，我需要做些说明。ssh指的是加密shell，通过ssh进行登录或信息传输是安全的。一般使用ssh进行登录的命令如下：

ssh user@192.168.1.x，其中user表示登录到对方机器的用户名，后面跟@和IP地址，这个时候系统会要求你输入密码，但是我们使用脚本进行工作是又无法输入密码，所以我们需要用到下面的无密码SSH链接。

设置无密码SSH认证：

要设置无密码SSH认证，我们需要建立基于key的认证，因此我们必须先生成一对key。

使用如下命令生成key对

ssh-keygen -t rsa

当问你要保存在哪里时，你就按回车保存在默认位置，问你输入密码，你也按回车，即空密码，总之一路回车。

我这里的默认保存位置是/home/ecmkit/.ssh, 在此目录下，会生成：

id_rsa（私钥）

id_rsa.pub （公钥）

把id_rsa.pub拷贝到目标服务器家目录下的.ssh文件夹内，然后改名为authorized_keys，我这里是/home/ecmkit/.ssh/ authorized_keys

再用ssh登录目标服务器试试看，这时候就不需要输入密码了。这样我们用脚本进行rsync同步时，就不需要输入密码了。

这样我们的index文件就每天同步到目标服务器了，我这里只写了workspace下index的同步，archive 下的同步很类似，就是要改一下目录。看一下附件脚本就知道了。

注意在附件脚本中我用了一个函数来封装所有的逻辑，函数中出现$1，$2等变量，这些为在调用函数时传入函数的变量。$0代表函数自己。

备份结果就是在目标服务器上产生类似以下的目录结构