云计算平台：基于Hadoop的研究
基于云计算的大数据处理与分析技术研究
基于云计算的大数据处理与分析技术研究第一章：绪论1.1 课题背景随着互联网和移动互联网的迅速发展，大量数据不断被生成和积累。
这些数据包含了各种类型、各种形式的信息。
如何快速、准确、高效地处理和分析这些数据成为了当前互联网领域的一大挑战，同时也是处理海量数据的必要手段。
1.2 研究意义基于云计算的大数据处理和分析技术的研究，是当下互联网领域中的一个热门议题，其研究意义主要体现在以下几个方面：（1）大数据处理能力的提升：利用云计算的优势，将数据分散到多个计算节点上进行处理，大大提升数据处理能力；（2）数据分析效率的提高：云计算可以快速地完成大量数据的预处理、存储和分析，从而提高数据分析效率；（3）新兴产业的培育：大数据技术的不断完善和应用，将推动数字经济和相关产业的快速发展。
第二章：基于云计算的大数据处理技术2.1 云计算的概念与特点云计算是指利用互联网等通信技术，将大量的计算资源、存储资源和应用程序进行集中和管理，以满足用户的个性化需求。
其特点主要包括以下几个方面：（1）可伸缩性：云计算中的资源具有良好的可扩展性，可以根据实际需求进行自动扩展；（2）按需订购：用户只需按照自己的实际需求选择所需要的服务和应用程序，无需购买应用程序的复杂硬件和软件设备；（3）可靠性：云计算中的资源不仅可以快速地处理高并发访问，还具备备份和容错机制，保证服务的高可靠性和稳定性。
2.2 大数据处理技术的发展历程大数据处理技术的发展经历了以下几个阶段：（1）传统数据处理技术：包括关系数据库管理系统（RDBMS）和数据仓库（Data Warehouse）等；（2）并行处理技术：如MapReduce和Hadoop等；（3）实时处理技术：主要包括Storm和Spark等；（4）深度学习技术：基于神经网络的深度学习技术、卷积神经网络和循环神经网络等。
2.3 基于云计算的大数据处理技术基于云计算的大数据处理技术主要包括以下几个方面：（1）Hadoop平台：Hadoop是一种基于Java语言的分布式存储和计算平台，可用于处理极大数据集；（2）Spark平台：Spark是一种快速、通用型的大数据处理平台，可以进行批处理和实时处理；（3）Storm平台：Storm是一种分布式实时计算系统，在实现实时数据处理方面具有显著的优势；（4）Flink平台：Flink是一种分布式大数据处理平台，既支持批处理，又支持流式处理。
基于Hadoop的海量电信数据云计算平台研究
Ｈ ｄｏ 是由Ａ ａｈ 基金会组织开发的分布式计算开 ａｏｐ ｐｃｅ
源框架， 利用低廉设备搭建大计算池， 以提高分析海量数据 的速度和效率， 是低成本的云计算解决方案。 其模仿和实现
了Ｇｏｌ云计算的主要技术。 Ｈ Ｆ （ ａｏ ｉｒ ｕ ｄ ｏｇ ｅ 包括 Ｄ ＳＨ ｄｏ ｄ ｔ ｔ ｐ ｓｉ ｅ ｂ
Ｈ ｄｏ ｏ ｍ ｎ 支撑 Ｈ ｄｏ ａｏｐＣｍ ｏ ： ａｏｐ的公共部分 ． 是最底层 的模块 ， 为其他子项 目 提供各种工具。 Ｈ Ｆ ：是一 个 主从 （ ａｅｓ ｖ）结构 ．由一 个 ＤＳ ｍ ｓｒｌ ｅ ｔ／ａ Ｎｍ Ｎｄ （ ａ ｅｏｅ 名称节点 ） 和若干个 Ｄ ｔ ｏｅ 数据节点 ） ａＮｄ（ ａ 构 成 ，ａ ｅｏｅ Ｎｍ Ｎ ｄ 管理文件系统的元数据，ａ Ｎｄ 存储实际 Ｄｔ ｏｅ ａ 数据。 Ｍ ｐ ｅｕｅ 处理海量数据的并行编程模型和计算框 ａＲｄｃ ： 架， 采用“ 分而治之” 思想 ， 包括分解任务的 ｍ ｐ函数和汇 ａ 总结果的 ｒ ｕｅ ｅ ｃ 函数 ， ａＲ ｄｃ 任务由一个 Ｊｂｒ ｋｒ ｄ Ｍ ｐ ｅｕｅ ｏＴａ ｅ ｃ 和若干个 Ｔｓ ｒ ｋｒ ａ Ｔａ ｅ 控制完成． ｂ ｒ ｋｒ ｋ ｃ Ｊ Ｔａ ｅ 负责调度和管 ｏ ｃ
平台在设计上采用分布式、 分层结构． 可以划分为数据层、
模型层、 应用层 ３ 层结构， 如图 ２ 所示。 （） １数据层
理 Ｔｓ ｒ ｋｒＴｓ ｒ ｋｒ ａ Ｔａ ｅ，ａ Ｔａ ｅ 负责执行任务。 ｋ ｃ ｋ ｃ
Ｐ ： Ｌ ｉ 语言 ， ｉＳ —ｅ ｇＱｌ ｋ 是在 Ｍ ｐ ｅｕｅ ａＲｄｃ 上构建的一种高 级查询语言， 以简化 Ｍ ｐ ｅｕｅ ａＲ ｄｃ 任务的开发。 Ｈｖ ： ｉ 数据仓库工具， Ｓ Ｌ查询功能。 ｅ 提供 Ｑ Ｈ ａｅ基于列存储模型的分布式数据库。 ｂｓ：
Hadoop云计算平台实验报告
数据校验技术提高了数据的高可靠性。NameNode 执行文件系统的名字空间操作， 比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体 DataNode 节 点的映射。 DataNode 负责存放数据块和处理文件系统客户端的读写请求。在 NameNode 的统一调度下进行数据块的创建、删除和复制。
责任务执行。用户提交基于 MapReduce 变成规范的作业之后，JobTracker 根据作 业的输入数据的分布情况（在 HDFS 之中） ，将 Map 任务指派到存储这些数据块 的 DataNode 上执行（DataNode 也充当了 TaskTracker） ，Map 完成之后会根据用 户提交的 Reduce 任务数对中间结果进行分区存储在 Map 任务节点本地的磁盘， 执行 Reduce 任务的节点（由 JobTracker 指派）通过轮询的方式从各 Map 节点拉 取 Reduce 的输入数据，并在 Reduce 任务节点的内存进行排序后进行合并作为 reduce 函数的输入，输出结果又输出到 HDFS 中进行存储。
Hadoop 云计算平台实验报告
金松昌 11069010 唐明圣 11069033 尹洪 11069069
实验目标
1. 掌握 Hadoop 安装过程 2. 理解 Hadoop 工作原理 3. 测试 Hadoop 系统的可扩展性 4. 测试 Hadoop 系统的稳定性 5. 测试 Hadoop 系统的可靠性
排序
分片 0
Map
复制 合并
reduce
分区 0
HDFS 副本
分片 1
Map HDFS 副本
reduce Map
分区 1
分片 2
图 2 MapReduce 数据处理流程示意图
基于参数优化的Hadoop云计算平台
云计 算在大数据 处理方 面，尤其针对 几百 ＭＢ、
几百 Ｇ Ｂ、 甚至 几百 Ｔ Ｂ大 小的文件，有 了很好 的应用 ， 目前 已经 有 存 储 Ｐ Ｂ 级数据 的 Ｈ ａ ｄ ｏ ｏ ｐ 集 群 了【 １ Ｊ ． Ｇ ｏ ｏ ｇ ｌ ｅ 关于 Ｇ Ｆ Ｓ 、Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 【 、Ｂ ｉ ｇ Ｔ ａ ｂ ｌ ｅ的三 篇论
２ ０ １ ３年 第 ２ ２卷 第 ３期
ｈ ｔ ｔ ｐ ： Ｈ ｗ ｗｗ ． ｃ －统 应 用
基于参数优化 的 Ｈａ ｄ ｏ ｏ ｐ云计算平 台①
李 寒， 唐兴兴
（ 桂林 电子科 技大学 计算机科 学与工程学院， 桂林 ５ ４ １ ０ ０ ４ ）
表 ｌ Ａｐ ａ ｃ ｈ ｅ与 Ｇｏ ｏ ｇ ｌ ｅ云 计 算 产 品性 能 比较
Ｅ ｘ ｐ ｅ ｒ ｉ ｍｅ ｎ ｔ Ｒｕ ｎ Ｒａ ｎ ｄ ｏ ｍ ｒ ｅ ａ ｄ ｓ Ｍａ ｐ ｉ ｆ ｌ ｅ ０ ． １ ９ ． ０ ７ ６ ８ Ｂｉ ｇ Ｔａ ｂ ｌ ｅ １ ２ １ ２
ＬＩＨａ ｎ ， Ｔ ＡＮ Ｇ Ｘ ｉ ｎｇ － Ｘｉ ｎ ｇ
（ Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｃｏ ｍｐ ｕ ｔ ｅ ｒ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ ， Ｇｕ ｉ ｌ ｉ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｅ ｌ ｅ ｃ ｔ ｒ ｏ ｎ ｉ ｃ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ， Ｇ ｕ ｉ ｌ ｉ ｎ ５ ４ １ ０ ０ ４ ， Ｃ ｈ ｉ ｎ ａ ）
Ｄｉ ｓ ｒ ｔ ｉ ｂ ｕ ｔ ｅ ｄ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ（ Ｈ ＤＦ Ｓ ） ｔ ｏ ｒ ｅ ｐ ｌ ａ ｃ ｅ ｔ ｈ ｅ ｅ ｘ ｉ ｓ ｔ ｉ ｎ ｇ ｓ ｔ ａ ｎ ｄ ・ ａ ｌ ｏ ｎ ｅ ｄ ａ ａ ｔ ｓ ｔ ｏ ｒ ａ ｇ ｅ ， ｍａ ｐ ／ ｒ ｅ ｄ ｕ ｃ ｅ ａ ｐ ｐ ｌ ｉ ｃ ｔｉ ａ ｏ ｎ ｉ ｎ ｓ ｔ ｅ ａ ｄ ｏ ｆ ｔ ｈ ｅ
基于Hadoop的云计算算法研究
基于Hadoop 的云计算算法研究辛大欣，屈伟（西安工业大学陕西西安710021）摘要：随着科技技术的发展，数据呈现几何级的增长，面对这个情况传统存储服务无法满足复杂数据慢慢地暴露出来，传统的存储计算服务不仅浪费着极大的资源，还对于环境有着极大的不利影响。
在这个大环境下云计算应势而生。
本论文将针对目前的存储服务无法满足复杂数据的问题，研究云存储中的任务调度技术。
通过与Hadoop 平台结合的试验对于现有的三种算法进行算法的实现过程的研究以及结果的对比。
关键词：云计算；数据存储；任务调度技术；低碳节能中图分类号：TP302文献标识码：A文章编号：1674－6236（2013）03-0033-03Cloud computing algorithm research based on HadoopXIN Da -xin ，QU Wei（Xi ’an Technological University ，Xi ’an 710021，China ）Abstract:With the development of technologies ，data exponentially growth ，face the situation of traditional storage service can not satisfy the complicated data slowly emerged ，the traditional storage calculation service is not only a waste of a great resource ，but also for the environment has a great adverse effects.In the environment of cloud computing should situation and unripe.This paper will analyze the current storage service can not satisfy the complicated data ，study the cloud task scheduling technology.With the Hadoop platform with experiment for three kinds of existing algorithm algorithm implementation process and research results.Key words:cloudcomputing ；virtualization ；taskscheduling algorithms ；low -carbon energy收稿日期：2012-09-24稿件编号：201209170作者简介：辛大欣（1966—），男，陕西西安人，硕士，副教授。
云计算Hadoop运行环境的配置实验报告
以上操作的目的，是确保每台机器除了都能够使用ip地址访问到对方外，还可以通过主
注意：另外2台也要运行此命令。
）查看证书
hadooptest身份，进入hadooptest家目录的 .ssh文件夹。
（3）新建“认证文件”，在3台机器中运行如下命令，给每台机器新建“认证文件”注意：另外2台也要运行此命令。
其次，虚拟机之间交换证书，有三种拷贝并设置证书方法：
hadoops1机器里的authorized_keys也有三份证书，内容如下：hadoops2机器里的authorized_keys也有三份证书，内容如下：
） Java环境变量配置
继续以root操作，命令行中执行命令”vi m /etc/profile”,在最下面加入以下内容，
．实验体会
通过这次的实验熟悉并了Hadoop运行环境，并学会了如何使用它。
这次实验成功完成了Hadoop 集群，3个节点之间相互ping通，并可以免密码相互登陆，完成了运行环境java安装和配置。
基于Hadoop云计算平台设计开发论文
基于Hadoop的云计算平台设计与开发摘要：随着北部湾海洋生态资源的开发和利用，海量海洋科学数据飞速涌现出来，利用云计算平台合理管理和存储这些科学数据显得极为重要。
本文提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法，构建了海量海洋科学数据存储平台解决方案，采用linux集群技术，设计开发一个基于hadoop的云计算平台。
关键词：云计算；海洋科学数据；hadoop；分布式计算中图分类号：tp311.13文献标识码：a文章编号：1007-9599 (2011) 24-0000-02hadoop-based cloud computing platform design and developmenttang yun1,2(1.hubei university of technology school of computer science,wuhan430068,china;2. lishui city road administration detachment of the highwaybrigade,lishui323000,china)abstract:with the development and utilization of marine ecological resources in the beibu gulf,the mass of marine scientific data rapidly emerged,the use of cloud computing platform for the rational management and storage of scientific data is extremely important.in this paper,manageand store large amounts of marine science data method based on distributed computing technology to build a massive marine science data storage platform solutions,using the linux cluster technology,design and development based on a hadoop cloud computing platform.keywords:cloud computing;marine sciencedata;hadoop;distributed computing传统的对大规模数据处理是使用分布式的高性能计算、网格计算等技术，需要耗费昂贵的计算资源，而且对于如何把大规模数据有效分割和计算任务的合理分配都需要繁琐的编程才能实现，而hadoop分布式技术的发展正解决了以上的问题。
基于HADOOP校园云存储的结构研究与分析
张娴 （ 苏州工业园区 服务外包 职业学院）
摘要 ： 信 息 时代 的标 志 之 一 就 是 海 量 数 据 信 息 ， 其 中包 括 文 字 ， 成很多块并存放在每个数据节点 中 ， 它们 互相之 间通过远 程 图片 以及 视 频 ， 复 杂 的数 据 离 不开 高 性 能 的计 算机 ， 但往 往 高 性 能 服 过程调 用（ Ｒ ｅ ｍｏ ｔ ｅ Ｐ ｒ ｏ ｃ ｅ ｄ ｕ ｒ ｅ Ｃ ａ ｌ １ ） 来 相互调 用数据。 务 器 的昂 贵价 格 使 众 多企 业 单位 望 而却 步 ， 无奈 之 下 ， 能够 提 高 软 件 ２ ． ２ 映射 ／ 简 化 引擎 （ Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ）映 射 ／ 简 化 引 系统 的 分布 式部 署 和 调 度 能 力 使 得 越 来 越 受 到 ｌ Ｔ行 业 的 认 可 和 欢
擎 是 一种 数据 集 中并行 计 算 的编 程模 型 ， 由 Ｍａ ｐ映射 和
所 改变 ， 并且创 建 了一个 新 的数 据集来 保存 答案。例如 ， 将 关键词 ： Ｈ ＡＤ ＯＯＰ校 园云 存 储 海量 数 据 所 有 同学期 末成 绩和 平时 成绩 进行 百 分 比计 算 ， 那 么 可 以 １云计 算概 述 定义一个“ 百 分 比计 算 的” 映 射 函数 ， 将结果重新计算 出 回顾 Ｉ Ｔ的历 史 发展 ， 从 １ ９ ６ ０年 到 现在 ， 集 成 电路 计 来 。 Ｒ ｅ ｄ ｕ ｃ ｅ是化简 操作 ， 它 转换 数据 在 内存 中的表现 形式 算 机 出现 、微 型计 算机 出现 、 ２ ０年前 ｌ ｎ ｔ ｅ ｒ ｎ ｅ ｔ 网络 普 及 、 （ ｍａ ｒ ｓ ｈ ａ ｌ ｉ ｎ ｇ列 集 ） ， 它可 以简 化大 规模 数据 操作 ， 例如 ， 计 １ ０年 前 ＧＯＯＬ Ｅ 、 ＡＭＡ Ｚ ＯＮ 等开 创 了云计 算 的商 业 化 应 算所有 同学的 总分 ， 可 以将相邻 数 据进 行相 加赋值 最 后简 用， 实现 了 Ｉ ｔ 能力 的远距 离传输 。 现在 云计 算 的应用 是否 化为一 个数据 。 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ提供数 据冗余 和 高容错 性。 会 成 为人 类 社会 的核 心力 量 ， 有 了云计 算 的人 类社 会 将会 ３ 系统 分析 与设计 有 怎么样 精彩 的生活 。云 计 算 （ ｃ ｌ ｏ ｕ ｄ ｃ ｏ ｍｐ ｕ ｔ ｉ ｎ ｇ）是 以 ３ ． １ 系统原 型设 计 硬 件 部 署 ： Ｈ ａ ｒ ｄ ｏ ｏ ｐ采 用 版 本 Ｉ ｎ ｔ ｅ ｒ ｎ ｅ ｔ 为基 础 ， 在 此基 础 上会 增加 、 使 用相 关服 务 ， 其中 ０ １ ６ ． ３ ． ｔ ａ ｒ ． ｇ ｚ版本 ， 操作 系统使用 Ｕ ｂ ｕ ｎ ｔ ｕ ｌ ０ ． １ ０ ， 共使用 ５台 关键 技 术就 是利 用互 联 网提供 动 态易扩 展 的虚 拟化 资源 。 台式机 ， ｉ ｐ地 址规划 分配为 １ ９ ２ ． １ ６ ８ ． ３ ． １ ， １ ９ ２ ． １ ６ ８ ． ３ ． ２ ， １ ９ ２ ．
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
云计算平台：基于Hadoop的研究
作者：张岩
来源：《中国信息化》2014年第13期
一、云计算有关发展趋势
2006年，Google提出云计算概念后，不断有IT厂商推出属于自己的云计算平台。
2010年，云计算已经从概念逐渐走向应用层面。
2013年11月12日，首届云计算用户大会开幕，云计算产业进一步促进。
随着互联网的高速发展、移动互联网应用不断创新、三网融合步伐加速、以及国家“两化融合”产业基地建设加快，中国云计算产业发展有了良好的发展机遇，更多的厂商开展云计算布局并积极加大研发与推广，创新产品线不断推出，围绕着云计算研发与应用推广的产业链逐渐形成。
如果把以往计算机发展分为三个阶段，那就是主机、个人PC机和互联网时代，我们现在已经进入到云计算时代。
从技术层面来看，云计算是一种资源的池化，通过互联网向用户提供按需按量的计算服务。
云计算主要包括IaaS（基础设施即服务）、PaaS（平台即服务）、SaaS （软件即服务）三种服务模式，Hadoop是一种用于构建PaaS的云计算模型，它是Google云计算的主要技术GFS和MapReduce的开源实现。
利用Hadoop，在底层可以实现对集群的管理；在上层可以很方便地构建企业级的应用。
近来，云计算产业界和科技界紧跟世界发展潮流，技术研发、理论研究和推广应用不断发展。
正是在此大环境下，我国的云计算产业才得以快速发展。
越来越多的用户正在接受并使用着各种云计算的应用。
业界对云计算的关注和探讨逐渐从服务商、制造商的角度转向用户的使用和体验的角度。
随着云计算技术趋向成熟，高校信息化技术也翻开了新的一页。
结合高校信息化的特点，以云计算技术为依托，对内进行IT资源整合，提升资源利用率和科研水平；对外通过高性能计算云平台来支撑科学计算，以产学研的能力，在应用层面推动云计算的落地。
2008年以来，云计算得到了快速的发展，已经从理论研究迈入了应用开发时期，国家“十二五”规划把云计算作为新一代IT产业研发与应用的重要领域之一，云计算将推动我国的IT 产业实现跨越升级。
从技术的角度来看，面向服务的体系结构是云计算的一项重要内容，搞好基于其的应用云建设，将有助于促进服务质量的提高。
SOA（Service Oriented Architecture，面向服务的体系结构）是为业务需求提供服务的体系结构，它可以把企业所有相关的系统的组件接口和各个不同的服务单元以及绑定于那些服务的信息联系起来，并将服务抽象为业务流程，从而得到新的解决方案。
SOA为系统结构增添了
灵活性，使得对系统的修改非常方便，而不需要重复的对系统进行开发，这些优点对云计算的可扩展性以及灵活管理是不可或缺的。
基于SOA的应用云有利于更加合理、高效地使用企业内部的资源库，促进服务质量的提高。
二、Hadoop技术探析
基于开源的Hadoop模型进行云计算平台搭建，需要对Hadoop技术进行探析。
Hadoop是Apache开源组织的一个分布式计算框架，可以在大量廉价的硬件设备所组成的集群上开发和运行处理海量数据。
它能构建一个具有高可靠性和良好扩展性的分布式系统，任何普通的PC 上安装运行hadoop 框架集群，都可用来高效处理海量的信息。
Hadoop 集群是典型的主（Master）/从（Slave）结构，Master由NameNode和JobTracker组成，Slave由DataNode和TaskTracker组成。
Hadoop框架由许多子项目组成，其中的核心是HDFS、MapReduce和HBase，前者允许在多台普通机器上存储和复制文件，后两者分别用于执行并行程序任务和储存数据。
1.分布式文件系统HDFS
HDFS由一个名字节（NameNode）和很多个数据节点（DataNode）组成。
NameNode是管理节点，用于管理文件系统的元数据，DataNode存储实际的数据。
客户端联系NameNode以获得文件的元数据，通过DataNode 对文件进行I/O操作。
HDFS可以部署在廉价的硬件之上，能够高容错、可靠地存储海量数据。
它可以和MapReduce编程模型很好地结合，提供高吞吐量的数据访问。
2.分布式数据处理MapReduce
MapReduce 由JobTracker和TaskTracker组成，前者的作用是启动、跟踪和调度各个任务的执行，后者的作用是根据应用要求来结合本地数据执行Map任务以及Reduce任务，JobTracker 也同时检测TaskTracker的运行状况，在必要的时候可以重新执行某个任务。
MapReduce把运行在大规模集群上并行计算过程抽象为两个函数：Map和Reduce，就是“任务的分解与结果的汇总”。
Map把任务分解成为多个小任务，Reduce把分解后多任务的结果汇总起来，得到最终结果。
3.分布式结构化数据表HBase
HBase是一个分布式的、面向列的开源数据库。
与一般的关系数据库不同，HBase是一个适合于非结构化数据存储的数据库。
它基于列的而不是基于行的模式。
用户在表格里存储一系列的数据行，每行拥有一个可选择的行关键字、一个可选的时间戳和任意数量的列（稀疏）。
用户可根据键访问行，以及对于一系列的行进行扫描和过滤。
HBase一个可以横向扩张的表存储系统，能够为海量数据提供速度非常快的低等级更新。
主要用于需要随机访问，实时读写大数据（Big Data），而这正是高性能计算所需要的功能。
除了开源之外，Hadoop还有以下优点：
（1）扩展性。
不论是储存的可扩展还是计算的可扩展都是Hadoop的设计思想。
（2）成本低。
Hadoop可以运行在廉价的PC上，对硬件没有太高的要求。
（3）可靠性。
H D F S的备份恢复机制及MapReduce的任务监控机制保证了分布式处理的可靠性。
（4）高效性。
分布式文件系统的高效数据交互实现及MapReduce结合Local Data处理的模式，为高效处理海量的信息打下了基础。
随着有关技术的发展，我们正迈向云计算时代。
随着各种云计算技术的日趋成熟，云计算的发展不仅局限于基础平台的建设，如何实现一个能够“统一规划，统一部署，统一管理”来整合自身的资源库，建设面向各类学科、各类人群和各类用途的云资源平台，是下一步信息化建设中云计算的主要发展方向和目标。
作者单位：中国石油辽阳石化分公司信息技术部。