云计算读书笔记

2010—2011学年上学期读书笔记

从暑假入学开始，开始接触或者更深刻的认识云计算、MapReduce、Hadoop、Xen虚拟机、物联网等概念及相应机理的学习和研究，我本人有自己的一个学习习惯，学任何东西前先要查查这个词是什么意思或者起源在那，否者就会心里不舒服，所以我的学习也是从概念开始的：云计算（cloud computing）是一种基于因特网的超级计算模式，在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

侠义的云：指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。提供资源的网络被称“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。这种特性经常被称为像水电一样使用IT基础设施。

广义的云：指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务。

云计算的原理：云计算(Cloud Computing)是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，或者说是这些计算机科学概念的商业实现。

云计算的基本原理是，通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。这可是一种革命性的举措，打个比方，这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。云计算的蓝图已经呼之欲出：在未来，只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。从这个角度而言，最终用户才是云计算的真正拥有者。云计算的应用包含这样的一种思想，把力量联合起来，给其中的每一个成员使用。

这里网格计算的定义是：网格计算通过利用大量异构计算机的未用资源（CPU周期和磁盘存储），将其作为嵌入在分布式电信基础设施中的一个虚拟的计算机集群，为解决大规模的计算问题提供了一个模型。网格计算的焦点放在支持跨管理域计算的能力，这使它与传统的计算机集群或传统的分布式计算相区别。

MapReduce的定义：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

Hadoop的定义：Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分布式文件系统，与MapReduce和Google档案系统的概念类似。

一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

物联网的定义：上世纪末的时候提出了物联网的概念。英文名称是“The Internet of things”，从此看出，物联网就是“物-物相连的互联网”。这里有两层意思：第一，物联网的核心和基础依然是互联网，是在互联网基础上的扩展和延伸的更大的网络；第二，其用户端延伸和扩展到了物品和物品之间的信息交换和通讯。物联网的严格定义是：通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网连接起来，进行信息交

换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络。

（一）了解了基本概念之后，我精读了陶老师推荐的几篇论文：

第一篇，MapReduce：Simplified Data Processing on Large Cluster，这篇文章主要有8个部分构成：简介、编程模式、实现、改良、功能、感受实验结果、相关工作、结论。

MapReduce是由Google公司发明，近些年新兴的分布式计算模型。作为Google公司的核心技术，MapReduce在处理T级别以上巨量数据的业务上有着明显的优势。本文从分布式计算的历史背景开始，论述了MapReduce的灵感源泉及基本原理。

Google公司的MapReduce实现是该公司的保密技术，而来自开源社区Apache的Hadoop项目则是此思想的java克隆版本。最近，Stanford大学提出的Phoenix项目将MapReduce应用于共享存储结构的硬件平台上，取得了一定的成果。本文重点论述，此三者在实现上的关键技术区别。

MapReduce基本原理介绍：在过去的数年里，Google的许多员工已经实现了数以百计的为专门目的而写的计算，用来处理大量的原始数据。比如爬虫文档、Web请求日志等等。为了计算各种类型的派生数据，比如倒排索引，Web文档的图结构的各种表示，每个主机上爬行的页面数量的概要，每天被请求数量最多的集合，等等。很多这样的计算在概念上很容易理解。然而，输入的数据量很大，并且只有计算被分布在成百上千的机器上才能在可以接受的时间内完成。怎样并行计算，分发数据，处理错误，所有这些问题综合在一起，使得原本很简洁的计算，因为要大量的复杂的代码来处理这些问题，而变得让人难以处理。作为对这个复杂性的回应，Google公司的Jeffery Dean设计一个新的抽象模型，使我们只要执行的简单计算，而隐藏并行化、容错、数据分布、负载均衡的那些杂乱细节则放在一个库里，不必关心它们。此类抽象模型的灵感来自Lisp和许多函数语言的map和reduce的原始表示。事实上许多计算都包含这样的操作：在我们输入数据的逻辑记录上应用map操作，来计算出一个中间key/value对集；在所有具有相同key的value上应用reduce 操作，来适当地合并派生的数据。功能模型的使用，再结合用户指定的map和reduce操作，让我们可以非常容易地实现容错。这个工作的主要贡献是通过简单有力的接口来实现自动的并行化和大规模分布式计算，结合这个接口的实现在大量普通的PC机上实现高性能计算。

计算利用一个输入key/value对集，来产生一个输出key/value对集。MapReduce库的用户用两个函数表达这个计算：map和reduce。用户自定义的马屁函数，接受一个输入对，然后产生一个中间key/value对集。MapReduce库把所有具有相同key I的中间valuce聚合在一起，然后把它们传递给reduce函数。用户自定义的reduce函数，接受一个中间key I和相关的一个value集。它合并这些value，形成一个比较小的value集。一般的，每次reduce调用只产生0或1个输出value。通过一个迭代器把中间value提供给用户自定义的reduce函数。这样可以使我们根据内存来控制value 列表的大小。

实例：计算单词数wordcount。

考虑这个问题：计算在一个大的文档集合中每个词出现的次数。用户将写出和下面类似的伪代码：

map(String key, String value):

//key: 文档的名字

//value：文档的内容

For each word w in value :

Emit Intermediate(w, “1”) ;

Reduce(String key, Iterator values) :

//key: 一个词

//values: 一个计数列表

Int result=0;

For each v in values:

Emit(AsString(resut));

Map函数产生每个词和这个词的出现次数（在这个简单的例子里就是1）。Reduce函数把产生的每一个特定的词的计数加在一起。另外，用户用输入输出文件的名字和可选的调节参数来填充一个mapreduce规范对象。用户然后调用MapReduce函数，并把规范对象传递给它。用户的代码和MapReduce库链接在一起。

类型；

即使前面的伪代码写成了字符串输入和输出的term格式，但是概念上用户写的map和reduce 函数有关联的类型：

Map（k1，v1）→list（k2，v2）

Reduce（k2，list（v2））→list（v2）

例如输入的key，value和输出的key，value的域不同。此外，中间key，value和输出key，values的域相同。我们的C++实现传递字符串和用户自定义的函数交互，并把它留给用户的代码，来在字符串和适当的类型间进行转换。

其他的一些实例，如分布式的Grep、计算URL访问频率、倒转网络链接图、每个主机的术语向量、倒排索引、分布式排序等一些让人感兴趣的简单程序，可以容易的用MapReduce计算来表示。

MapReduce的实现：

这里主要介绍下Google的MapReduce实现。

我们的环境是:

1.Linux操作系统,双处理器,2-4GB内存的机器.

2.普通的网络硬件,每个机器的带宽或者是百兆或者千兆,但是平均小于全部带宽的一半.

3.因为一个机群包含成百上千的机器,所有机器会经常出现问题.

4.存储用直接连到每个机器上的廉价IDE硬盘.一个从内部文件系统发展起来的分布式文件系统被用来管理存储在这些磁盘上的数据.文件系统用复制的方式在不可靠的硬件上来保证可靠性和有效性.

5.用户提交工作给调度系统.每个工作包含一个任务集,每个工作被调度者映射到机群中一个可用的机器集上.

执行预览

通过自动分割输入数据成一个有M个split的集,map调用被分布到多台机器上.输入的split能够在不同的机器上被并行处理.通过用分割函数分割中间key,来形成R个片(例如，hash(key) mod R),reduce调用被分布到多台机器上.分割数量(R)和分割函数由用户来指定.

图1显示了我们实现的MapReduce操作的全部流程.当用户的程序调用MapReduce的函数的时候,将发生下面的一系列动作(下面的数字和图1中的数字标签相对应)：

1.在用户程序里的MapReduce库首先分割输入文件成M个片,每个片的大小一般从16到64MB(用户可以通过可选的参数来控制).然后在机群中开始大量的拷贝程序。

2.这些程序拷贝中的一个是master,其他的都是由master分配任务的worker.有M 个map任务和R个reduce任务将被分配.管理者分配一个map任务或reduce任务给一个空闲的worker。

3.一个被分配了map任务的worker读取相关输入split的内容.它从输入数据中分析出key/value 对,然后把key/value对传递给用户自定义的map函数.由map函数产生的中间key/value对被缓存在内存中。

4.缓存在内存中的key/value对被周期性的写入到本地磁盘上,通过分割函数把它们写入R个区域.在本地磁盘上的缓存对的位置被传送给master,master负责把这些位置传送给reduce worker。

5.当一个reduce worker得到master的位置通知的时候,它使用远程过程调用来从map worker的磁盘上读取缓存的数据.当reduce worker读取了所有的中间数据后,它通过排序使具有相同key的内容聚合在一起.因为许多不同的key映射到相同的reduce任务,所以排序是必须的.如果中间数据比内存还大,那么还需要一个外部排序。

6.reduce worker迭代排过序的中间数据,对于遇到的每一个唯一的中间key,它把key和相关的中间value集传递给用户自定义的reduce函数.reduce函数的输出被添加到这个reduce分割的最终的输出文件中。

7.当所有的map和reduce任务都完成了,管理者唤醒用户程序.在这个时候,在用户程序里的MapReduce调用返回到用户代码。

在成功完成之后,mapreduce执行的输出存放在R个输出文件中(每一个reduce任务产生一个由用户指定名字的文件).一般,用户不需要合并这R个输出文件成一个文件--他们经常把这些文件当作一个输入传递给其他的MapReduce调用,或者在可以处理多个分割文件的分布式应用中使用他们。

论文中还介绍了Master的数据结构、容错、任务粒度、机群配置等内容，这里不再一一列出。

结束语

MapReduce编程模型已经在Google成功的用在不同的目的.我们把这个成功归于以下几个原因：第一，这个模型使用简单,甚至对没有并行和分布式经验的程序员也是如此，因为它隐藏了并

行化，容错，位置优化和负载均衡的细节。第二，大量不同的问题可以用MapReduce计算来表达。

例如，MapReduce被用来，为Google的产品web搜索服务，排序，数据挖掘，机器学习，和其他许多系统，产生数据。第三，我们已经在一个好几千台计算机的大型集群上开发实现了这个MapReduce。这个实现使得对于这些机器资源的利用非常简单，因此也适用于解决Google遇到的其他很多需要大量计算的问题。

从这个工作中我们也学习到了一些东西。首先，严格的编程模型使得并行化和分布式计算简单，并且也易于构造这样的容错计算环境。第二，网络带宽是系统的瓶颈.因此在我们的系统中大量的优化目标是减少通过网络发送的数据量，本地优化使用我们从本地磁盘读取数据，并且把中间数据写到本地磁盘，以保留网络带宽。第三，冗余的执行可以用来减少速度慢的机器的影响，和控制机器失效和数据丢失。

我的理解：

对于刚接触mapreduce的初学者来说，这是一个不可多得的好文章，从概念到实例、框架讲解的很清楚。首先，在大的内容走向上给以把握，了解大致是个什么情况，总体把握。其次，再从实际流程中一步一步的深入了解它的执行情况，对整个流程有个清晰的认识。最后，结合各个文献有了自己的理解，对前人已有的体系提出意见，或者在局部有些创新，使自己在mapreduce上有自己的研究成果。

（二）应石老师、陶老师的要求，我们实验室的同学们一起参加了我院举行的2010郑州大学学术论坛并投稿，其中我的论文是一篇“物联网与云计算”是一篇综述性的文章。中间也看了不少论文和资料以下是我这方面的学习心得。

1，引言：自从上世纪九十年代中期比尔.盖茨在《未来之路》中首次提到“物-物”相联的邹形，到世纪末EPCglobal联合多家企业成立IOT联盟并正式提出物联网概念。十多年来，国际上各国都在加紧研究物联网。从技术演进来看，物联网的发展主要分为四个阶段：第一阶段，大型机和主机的联网。第二阶段，台式机、笔记本与互联网相联。第三阶段，一些移动设备比如手机，PDA 等的互联。第四阶段，嵌入式互联网兴起阶段，更多与人们日常生活紧密相关的应用设备，包括汽车、电视、洗衣机。冰箱、微波炉等都将加入互联互通的行列，最终形成全球统一的“物联网”的互联。

物联网与云计算也是交相辉映、互相支持、互相利用的关系。一方面，物联网的发展离不开云计算的支撑。从量上看，物联网将使用数量惊人的传感器（比如数以亿万计RFID、智能尘埃和视频监控等），采集到的数据量巨大。这些数据需要通过无线传感网、宽带互联网向“后台”的存储和处理设施汇聚，而恰恰使用云计算来承载这些任务具有非常显著的性价比优势；从质上看，使用云计算设施对这些数据进行处理、分析、挖掘，可以更加迅速、准确、智能地对物理世界进行管理和控制，使人类可以更加及时、精确地管理物理世界，从而达到“智慧地球”的状态，很大程度上提高资源利用率和社会生产力水平。云计算凭借其强大的处理、存储能力和极高的性价比，很自然就会成为物联网的后台支撑平台；另一方面，物联网将成为云计算最大的用户，将为云计算的商业发展奠定厚重的基础。

物联网和云计算的发展是必要和紧迫的，物联网具有巨大的经济和社会效益，物联网不仅能服务于全球各行各业的信息共享需求，同时这其中的某些新技术产业作为物联网建设的基础产业，其本身也会成为未来重要的经济增长点。近年来，，全球各个国家纷纷抛出核心为这俩项技术的信息化战略：韩国的e-Korea战略；日本的“U-Japan”计划；IBM向美国政府提出的“智慧地球”战略。我国在物联网领域的布局较早，中科院10年前就开始了传感网的研究，2009年10月，中国研发出首颗物联网核心芯片——“唐芯一号”。温家宝总理也提出了“感知中国”的国家信息产业发展战略。展示出了它们的潜力和发展的必要性。

2，云计算的发展和应用：云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展，或者说是这些计算机科学概念的商业实现。云计

算是虚拟化(Virtualization)、效用计算(Utility Computing)、IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等概念混合演进并跃升的结果。在互联网的发展和资源配置的变迁过程中，实际的方案一般都是C/S体系结构。很多任务都是由服务器完成的，服务器就得到了大量的应用，每个单位和部门都去买服务器，一个单位就要买邮件服务器、数据服务器、安全服务器、视频服务器等等，出现了服务器的井喷，导致服务器的多样化。但是服务器放在城市里很不好，耗电量大，于是把它放到郊区、放到沙漠地带、放到电厂旁边。有了服务器群的强大的计算和服务能力所以云计算的产生也不是空穴来风，是非常必然的，在工业革命时期，生成的集约化、规模化、专业化是完全吻合的。云计算构架将所以的计算资源集中起来，并有软件实现自动管理，无需人为参与。这使得应用提供者无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于创新和降低成本。这就好比是从古老的单台的发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的特点是它是通过互联网进行传输的。

总的来说，云计算可以算作是网格计算的一个商业化。早在2002年，我国刘鹏就针对传统网格计算思路存在不实用问题，提出计算池的概念：“把分散在各地的高性能计算机用高速网络连接起来，用专门设计的中间件软件有机地粘合在一起，以Web界面接受各地科学工作者提出的计算请求，并将之分配到合适的结点上运行。计算池能大大提高资源的服务质量和利用率，同时避免跨结点划分应用程序所带来的低效性和复杂性，能够在目前条件下达到实用化要求。通俗的讲，云计算的“云”就是存在于互联网上的服务器集群上的资源，它包括硬件资源（服务器、存储器、CPU 等）和软件资源（如应用软件、集成开发环境等），本地计算机只需要通过互联网发送一个需求信息，远端就会有成千上万的计算机为你提供需要的资源并将结果返回到本地计算机，这样，本地计算机几乎不需要做什么，所有的处理都在云计算提供商所提供的计算机群来完成。

3，物联网：上世纪末的时候提出了物联网的概念。英文名称是“The Internet of things”，从此看出，物联网就是“物-物相连的互联网”。这里有两层意思：第一，物联网的核心和基础依然是互联网，是在互联网基础上的扩展和延伸的更大的网络；第二，其用户端延伸和扩展到了物品和物品之间的信息交换和通讯。物联网的严格定义是：通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络。

RFID电子标签技术是物联网中非常重要的技术。以简单RFID系统为基础，结合已有的网络技术、数据库技术、中间件技术等，构建一个由大量联网的阅读器和无数移动的标签组成的，比Internet更为庞大的物联网也是RFID技术发展的趋势。物联网用途广泛，遍及政府工作、环境保护、智能交通、公共安全、小区安全、智能消防、工业监测、老人护理、个人健康等多个领域。未来物联网将是继计算机、互联网与移动通信网之后的又一次信息产业浪潮。有专家预测未来10年内物联网就可能大规模普及，这一技术将会发展成为一个上万亿规模的高科技市场。

国际电信联盟2005年的一份报告曾描绘“物联网”时代的图景：当司机出现驾驶操作失误时汽车会自动报警；公文包会提醒主人忘带什么东西；衣服会“告诉”洗衣机对颜色和水温的要求等等。这样，物联网会把新一代IT技术充分运用在各行各业中，具体的就是把感应器嵌入和装备到电网、铁路、桥梁、隧道、公路、建筑、供水系统、大坝、油气管道等各种物体中，然后将“物联网”与现有的互联网整合到一起，实现人类社会与物理系统的整合，在这个整合的网络中，存在能力超强的大型中心计算机群，能够对整合网络内的人员、机器、设备和基础设施实行实时的管理和控制，在此基础上，人类可以更加精细和动态的方式管理生产和生活，达到“智慧”的状态，提高资源利用率和生产力水平，改善人与自然间的关系。

毋庸置疑，如果“物联网”时代来临，人们的日常生活将发生翻天覆地的变化。然而，物联网的隐私权和辐射问题，把所有物品都植入识别芯片等等都是其实行过程中不可避免的问题，所以短期内实现物联网还是不现实的。人们正在走向“物联网”时代，但这个过程可能需要很长很长的时间。

3，物联网和云计算相互支撑：当前，无论是学术界还是工业界，目光普遍聚焦在物联网“前台”。这里则更关心物联网“后台”，主要表达以下3个观点：○1需重视物联网的“后台”，并开展有针对性的研发。实时感应、高度并发、自主协同和涌现效应等特征对物联网“后台”提出了新的

挑战，需要针对性较强的研究物联网特定的应用集成问题、体系结构和标准规范，特别是大量高并发事件的自动关联应用和智能协作问题。在互联网计算领域，将软件的实现和运维相关与用法相关部分相剥离，并纳入到互联网基础设施中，已是大势所趋，服务成为构建应用和进行业务演算的基石。针对物联网需求特征的优化策略、优化方法和涌现智能也将更多地以服务组合的形式体现，出现物联网服务新形态，进一步推动云计算及相关学科的发展。这样，在“后台”，物联网会变成“务联网（Internet of Services）”。○2.云支撑物联网“后台”的认识存在误区。云计算起源于互联网公司特定的大规模数据处理问题解决方案，由于问题及商业模式明确、产业界大力推动以及已有网格等相关前期基础等原因，而迅速被热捧和泛化，但其本身远未成熟。即使在不考虑标准化过渡和互操作性等因素的情况下，基本实现云计算愿景恐怕也还要经过一到多个创新周期。因此，我们还不能简单地设想和推断云计算便可应对物联网“后台”需求了。○3先从应用互联和行业云/私有云做起。物联网“后台”建设的“千里之行”需要“抬头看路，始于远方”，也需要充分利用已有基础“脚踏实地，始于足下”。我们建议，在研究全面和理想化的战略体系的同时，应充分利用良好的前期基础，重视价值牵引的作用，在特定领域的典型应用（Killer Application）和“行业云”上先有所突破。在文中分享一下mapreduce框架下的hadoop范例中的HDFS分布式文件系统。

思考：

通过这篇小文章的写作，在查阅资料总结知识方面有了很大的提高和进步，还有作图上也有了自己的思考。从内容上来说：物联网是我们十二五规划中的一个重要提议，是我们未来发展的方向这个方向很值得去研究。

（三）实践能力

实践即是实验了，在实验上自己感觉可能是最没底，最需要加强的一个方面了。任何的一个理论成功都必须依靠实验的支持。我上学期动手上主要是在虚拟机上熟悉Linux系统，为以后做实验打好基础，我还接触Xen虚拟机，及它的一些配置。

Xen是一个开放源码的准虚拟化虚拟机监视器（VMM），或“系统管理程序”理器架构。Xen 可以安全地在一个单一的贴近本机的性能物理系统上执行多个虚拟机。Xen的促进企业级，包括功能：

1.虚拟机的性能更接近本机的硬件。

2.在物理主机直接实时迁移正在运行的虚拟机。

3.多达32个虚拟机的虚拟CPU每个用户，与VCPU热插拔。

4.x86/32，x86/32与PAE（扩展到64位）的，和x86/64平台支持。

5.英特尔虚拟技术（VT - x）的未修改的用户操作系统（包括Microsoft Windows）。

6.优秀的硬件支持（支持几乎所有的Linux设备驱动程序）。

1.1使用情况：

Xen的使用方案包括

服务器整合

移动多种服务到一个物理主机并伴随着性能和虚拟机的界限提供故障隔离。

硬件独立性

允许遗留应用程序和操作系统开发新的硬件。

运行多个操作系统

同时运行多个操作系统的目的，为开发或测试。

内核的开发

Test和装箱的虚拟机调试内核的修改在沙-没有机器需要为一个独立的测试。

集群计算

在虚拟机管理提供了更多比分别管理每个物理主机上但更好地控制和解决方案的隔离比单一系统映像操作系统，特别是使用实时迁移的负载平衡。

硬件支持。

允许开发新的操作系统，而操作系统得益于广泛的硬件支持现有的广泛，如Linux操作系统。

Hadoop框架是基于Xen虚拟机实现的，Blktap是Xen提供给我们的一套实现虚拟块设备的框

架，它是运行在用户控件的，它可以使我们轻松的去实现我们的fileSystem，图5描述了blktap的基本工作流程，当xen启动的时候，他会先启动blktapctl，它是一个后台程序。当我们启动虚拟机的时候就会通过xenBus这个通道把需要的虚拟块存储设备注册到blktapctrl中，该注册过程会创建俩个命名管道以及一个字符设备，这两个命名管道将被用于字符设备与图中tapdisk之间的通信。而这个字符设备会利用mmap这个系统调用把fe_ring与共享内存映射起来。这时tapdisk主要用于打开镜像文件以及向blktapctrl发送镜像的基本信息，比如镜像的大小等。当tapdisk初始化好的时候，它会开始监听上面创建好的两个命名管道，并获取从前端发送过来的数据。这里的通信和普通的前后端通信方式一样，采用的共享内存事件通道来实现的，这种简单的通信方式也大大提高了块设备的性能。

图5 Blktap框架图

图6 基于key-value系统的blktap框架图

传统的虚拟块存储设备都是将虚拟机中的扇区号重新定位到物理设备上，由于物理设备是基于单机的，所以我们无法保证数据的可靠性。现在我们假设将虚拟机读写扇区号重新定位到一个分布文件系统中，那么我们就可以利用分布式文件系统的特点来解决数据的可靠性。我们知道在磁盘文件数据读写其实就是根据一个扇区号读取一个该扇区中的内容，这里的扇区号和数据都是一一对应的，所以这个的过程也就是从某一个key里面获取相应的value。现在我们将物理磁盘的扇区号映射为我们key-value系统中的key，而物理磁盘数据映射到我们key-value系统中的value。这样一来，我们所有的虚拟机数据都将会被存放到key-value 系统中，其实就是存放在分布式文件系统中。经过这层转换以后，从图6我们可以看到，所有的数据都被以key-value 的形式存放到分布式文件系统中，这样意味着虚拟机里面的运行数据是分布在集群中不同的机器中。所以分布式虚拟块存储相比传统虚拟块存储而言主要有以下几个优点：1，数据可靠性；2，负载均衡；3，效率较高；4，服务可靠性高。

时光荏苒，到今天2011年1月17日星期一，我的研一上学期已经结束了。在这半年中自己感

觉还是学到了很多，包括学习知识本身、学术态度、奋斗进取的坚持。感谢石老师和陶老师对我们的教导。当然我还有很多很多的不足和需要学习的地方，策马前途须努力，莫学龙钟虚叹息。我会努力做最好的自己。

最后，祝石老师陶老师工作愉快，生活幸福！