分布式文件系统Hadoop+HDFS与传统文件系统Linux+FS的比较与分析

合集下载

分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析

６苏州大学学报（工科版）第３０卷图１Ｉ－ＩＤＦＳ架构２ＨＤＦＳ与ＬｉｎｕｘＦＳ比较ＨＤＦＳ的节点不管是ＤａｔａＮｏｄｅ还是ＮａｍｅＮｏｄｅ都运行在Ｌｉｎｕｘ上，ＨＤＦＳ的每次读／写操作都要通过ＬｉｎｕｘＦＳ的读／写操作来完成，从这个角度来看，ＬｉｎｕｘＰＳ是ＨＤＦＳ的底层文件系统。

２．１目录树（ＤｉｒｅｃｔｏｒｙＴｒｅｅ）两种文件系统都选择“树”来组织文件，我们称之为目录树。

文件存储在“树叶”，其余的节点都是目录。

但两者细节结构存在区别，如图２与图３所示。

一二Ｒｏｏｔ＼图２ＩｔＤＦＳ目录树围３ＬｉｎｕｘＦＳ目录树２．２数据块（Ｂｌｏｃｋ）Ｂｌｏｃｋ是ＬｉｎｕｘＦＳ读／写操作的最小单元，大小相等。

典型的ＬｉｎｕｘＦＳＢｌｏｃｋ大小为４ＭＢ，Ｂｌｏｃｋ与ＤａｔａＮ－ｏｄｅ之间的对应关系是固定的、天然存在的，不需要系统定义。

ＨＤＦＳ读／写操作的最小单元也称为Ｂｌｏｃｋ，大小可以由用户定义，默认值是６４ＭＢ。

Ｂｌｏｃｋ与ＤａｔａＮｏｄｅ的对应关系是动态的，需要系统进行描述、管理。

整个集群来看，每个Ｂｌｏｃｋ存在至少三个内容一样的备份，且一定存放在不同的计算机上。

２．３索引节点（ＩＮｏｄｅ）ＬｉｎｕｘＦＳ中的每个文件及目录都由一个ＩＮｏｄｅ代表，ＩＮｏｄｅ中定义一组外存上的Ｂｌｏｃｋ。

ＨＤＰＳ中ＩＮｏｄｅ是目录树的单元，ＨＤＦＳ的目录树正是在ＩＮｏｄｅ的集合之上生成的。

ＩＮｏｄｅ分为两类，一类ＩＮｏｄｅ代表文件，指向一组Ｂｌｏｃｋ，没有子ＩＮｏｄｅ，是目录树的叶节点；另一类ＩＮｏｄｅ代表目录，没有Ｂｌｏｃｋ，指向一组子ＩＮｏｄｅ，作为索引节点。

在Ｈａｄｏｏｐ０．１６．０之前，只有一类ＩＮｏｄｅ，每个ＩＮｏｄｅ都指向Ｂｌｏｃｋ和子ＩＮ－ｏｄｅ，比现有的ＩＮｏｄｅ占用更多的内存空间。

大数据存储的三种路径

大数据存储的三种路径1.引言1.1 概述大数据存储是指存储和管理大规模数据的技术和方法。

随着大数据应用的广泛普及，数据量的快速增长给传统的存储方式带来了巨大的挑战。

为了高效地存储和处理大规模数据，人们提出了不同的存储路径。

本文将介绍三种主要的大数据存储路径，并分析它们的特点和适用场景。

第一种路径是分布式文件系统存储。

分布式文件系统是一种将数据分散存储在多个独立节点上的系统，可以提供高可靠性和高性能的数据存储服务。

这种路径适用于需要处理大容量数据的场景，可以通过横向扩展的方式增加存储容量和计算能力。

第二种路径是分布式数据库存储。

分布式数据库是一种将数据分片存储在多个节点上，并通过分布式计算和数据复制等技术实现数据一致性和高可用性的存储系统。

这种路径适用于需要频繁进行数据查询和分析的场景，可以提供高性能的数据访问能力。

第三种路径是对象存储。

对象存储通过将数据划分为独立的对象，并使用唯一的标识符进行管理和访问。

对象存储提供了高度伸缩性和可靠性的存储服务，适用于需要长期保存和管理大规模数据的场景。

通过对这三种不同的存储路径的介绍，我们可以看到它们各自具有一定的优势和适用场景。

在实际应用中，我们需要根据数据的具体特点和需求来选择最合适的存储路径，以便实现高效的数据存储和管理。

在未来的研究中，我们还可以进一步探索不同存储路径之间的融合和优化，提升大数据存储的性能和可扩展性。

1.2文章结构1.2 文章结构本文将就大数据存储的三种路径进行探讨和分析。

文章分为引言、正文和结论三个部分进行组织。

引言部分将对大数据存储的概述进行介绍，包括对大数据存储的重要性和应用范围进行说明。

同时，我们将介绍文章的结构和目的，以便读者能够清晰地了解文章的内容和意义。

正文部分将分为三个小节，分别阐述了大数据存储的三种路径。

每个小节包含路径的详细描述和关键要点的介绍。

第一种路径中，我们将详细描述这种存储路径并突出要点1的重要性。

具体而言，我们将探讨这种路径的适用性、使用方法以及可能的应用场景。

Hadoop分布式文件系统（HDFS）详解

Hadoop分布式⽂件系统（HDFS）详解HDFS简介：当数据集的⼤⼩超过⼀台独⽴物理计算机的存储能⼒时，就有必要对它进⾏分区 (partition)并存储到若⼲台单独的计算机上。

管理⽹络中跨多台计算机存储的⽂件系统成为分布式⽂件系统 (Distributed filesystem)。

该系统架构于⽹络之上，势必会引⼊⽹络编程的复杂性，因此分布式⽂件系统⽐普通磁盘⽂件系统更为复杂。

HDFS是基于流数据模式访问和处理超⼤⽂件的需求⽽开发的，它可以运⾏于廉价的商⽤服务器上。

总的来说，可以将 HDFS的主要特点概括为以下⼏点：（1 ）处理超⼤⽂件这⾥的超⼤⽂件通常是指数百 MB、甚⾄数百TB ⼤⼩的⽂件。

⽬前在实际应⽤中， HDFS已经能⽤来存储管理PB(PeteBytes)级的数据了。

在 Yahoo！，Hadoop 集群也已经扩展到了 4000个节点。

（2 ）流式地访问数据HDFS的设计建⽴在更多地响应“⼀次写⼊，多次读取”任务的基础之上。

这意味着⼀个数据集⼀旦由数据源⽣成，就会被复制分发到不同的存储节点中，然后响应各种各样的数据分析任务请求。

在多数情况下，分析任务都会涉及数据集中的⼤部分数据，也就是说，对HDFS 来说，请求读取整个数据集要⽐读取⼀条记录更加⾼效。

（3 ）运⾏于廉价的商⽤机器集群上Hadoop设计对硬件需求⽐较低，只须运⾏在廉价的商⽤硬件集群上，⽽⽆须昂贵的⾼可⽤性机器上。

廉价的商⽤机也就意味着⼤型集群中出现节点故障情况的概率⾮常⾼。

这就要求在设计 HDFS时要充分考虑数据的可靠性、安全性及⾼可⽤性。

正是由于以上的种种考虑，我们会发现现在的 HDFS在处理⼀些特定问题时不但没有优势，⽽且有⼀定的局限性，主要表现在以下⼏个⽅⾯。

（1 ）不适合低延迟数据访问如果要处理⼀些⽤户要求时间⽐较短的低延迟应⽤请求，则 HDFS不适合。

HDFS 是为了处理⼤型数据集分析任务的，主要是为达到⾼的数据吞吐量⽽设计的，这就可能要求以⾼延迟作为代价。

大数据存储方案

大数据存储方案随着互联网和物联网技术的快速发展，大数据的产生和应用越来越广泛。

传统的存储方式已经无法满足大数据海量、高速和多样化的特点，因此，研究和实施适合大数据存储的方案变得尤为重要。

本文将介绍一些常见的大数据存储方案，以帮助企业和组织更好地处理和管理大数据。

1. 分布式文件系统分布式文件系统是实现大数据存储的关键组件之一。

它通过将文件分割成多个小块，并存储在不同的节点上，实现文件的分布式存储和访问。

常见的分布式文件系统有Hadoop HDFS、Google文件系统（GFS）和Ceph等。

这些系统提供了高可靠性、高扩展性和高性能的存储解决方案，适用于大数据环境。

2. 列存储数据库传统的行存储数据库不适合处理大数据，因为它们在处理大量数据时存在性能瓶颈。

相比之下，列存储数据库以列为单位存储数据，可实现更高的压缩率和查询性能。

HBase、Cassandra和Vertica等列存储数据库广泛应用于大数据存储和分析领域，提供了快速的数据查询和分析功能。

3. 冷热数据分离大数据中存在着冷数据和热数据的概念，即数据的访问频率不同。

为了提高存储效率和节省成本，可以将热数据和冷数据分别存储在不同的存储介质上。

热数据可以存储在高性能的固态硬盘（SSD）上，以实现快速访问；而冷数据可以存储在廉价的磁盘阵列或磁带库中，以降低存储成本。

4. 压缩和去重大数据存储中的一个重要问题是存储空间的利用率。

为了减少存储空间的占用，可以采用数据压缩和去重技术。

数据压缩可以减小数据的存储空间，节省存储成本；而数据去重可以消除数据中的冗余，提高存储效率。

常见的压缩和去重工具有Gzip、LZO和Dedup等。

5. 数据备份和容灾大数据存储方案需要具备高可靠性和容灾能力，以防止数据丢失或损坏。

为了保证数据的安全性，可以使用数据备份和容灾技术。

数据备份可以将数据复制到多个存储介质上，以防止单点故障导致的数据丢失；而容灾技术可以将数据备份到不同的地理位置，以防止灾害性事件导致的数据损坏。

大数据量存储方案

大数据量存储方案在当前信息时代，数据的产生速度和存储需求呈指数级增长。

针对大数据量的存储需求，需要采用一种高效可靠的存储方案。

本文将介绍一些常用的大数据量存储方案，包括分布式文件系统、分布式数据库和云存储等。

1. 分布式文件系统分布式文件系统是一种将文件分散存储在多台服务器上的文件系统。

分布式文件系统具有高扩展性和高可靠性的特点，适用于大数据量的存储和处理。

常见的分布式文件系统包括Hadoop HDFS、GlusterFS和Ceph等。

1.1 Hadoop HDFSHadoop HDFS是Apache Hadoop项目的核心组件之一，用于存储和处理大规模数据。

Hadoop HDFS采用了分布式文件系统的设计原理，将数据分散存储在多台服务器上，并支持数据冗余和容错机制。

它具有高吞吐量和良好的可扩展性，在处理大数据量时表现出色。

1.2 GlusterFSGlusterFS是一种开源的分布式文件系统，它由多个存储节点构成，数据可以在节点之间自由迁移。

GlusterFS将文件按照卷(volume)的方式进行管理，每个卷可以包含多个子卷(subvolume)，从而实现数据的分布式存储。

GlusterFS支持动态扩展和自动故障恢复，具备较高的可靠性和可用性。

1.3 CephCeph是一个统一的存储平台，支持分布式文件系统、分布式块存储和对象存储等不同存储接口。

Ceph采用了RADOS（可靠自动分布式对象存储）作为底层存储架构，通过数据的冗余和分布来提供高可靠性和高性能。

Ceph适用于大数据量的存储和计算场景，支持海量数据的快速读写和存储。

2. 分布式数据库分布式数据库是指将数据分散存储在多台服务器上，通过分布式计算和存储来提供高性能和高可用性的数据库系统。

分布式数据库适用于大数据量和高并发的数据存储和处理需求。

常见的分布式数据库包括Apache HBase、Cassandra和MongoDB等。

2.1 Apache HBaseApache HBase是一个开源的分布式列式数据库，基于Hadoop和HDFS构建。

大数据存储方式概述

大数据存储方式概述概述：大数据存储是指存储海量数据的技术和方法，随着数据量的不断增长，传统的存储方式已经无法满足大数据处理的需求。

因此，研究和应用新的大数据存储方式成为了当下的热点话题。

本文将对目前常用的大数据存储方式进行概述，包括分布式文件系统、列式存储、NoSQL数据库和内存数据库。

一、分布式文件系统分布式文件系统是一种将数据分布式存储在多个节点上的文件系统。

它采用了横向扩展的方式，将数据分散存储在多个节点上，从而提高了存储的可扩展性和容错性。

常见的分布式文件系统包括Hadoop分布式文件系统（HDFS）和谷歌文件系统（GFS）。

这些系统通过将大文件切分成多个块，并将块存储在不同的节点上，实现了大数据的高效存储和处理。

二、列式存储列式存储是一种将数据按列存储的方式。

与传统的行式存储相比，列式存储可以提供更高的压缩比和查询性能。

在列式存储中，数据被按列存储在磁盘上，每一个列都有一个独立的存储文件，这样可以避免了不必要的数据读取，提高了查询效率。

常见的列式存储系统包括Apache Parquet和Apache ORC。

三、NoSQL数据库NoSQL数据库是一种非关系型数据库，适合于存储大规模的非结构化数据。

NoSQL数据库采用了键值对、文档、列族和图等不同的数据模型，以满足不同类型的数据存储需求。

与传统的关系型数据库相比，NoSQL数据库具有更好的可扩展性和性能。

常见的NoSQL数据库包括MongoDB、Cassandra和Redis。

四、内存数据库内存数据库是一种将数据存储在内存中的数据库。

由于内存的读写速度远高于磁盘，内存数据库可以提供更快的数据访问速度。

内存数据库适合于对实时性要求较高的应用场景，如实时分析、实时推荐等。

常见的内存数据库包括Redis、Memcached和Apache Ignite。

总结：大数据存储方式多种多样，选择适合自己业务需求的存储方式非常重要。

分布式文件系统适合于海量数据的存储和处理；列式存储可以提供更高的压缩比和查询性能；NoSQL数据库适合于非结构化数据的存储和查询；内存数据库适合于对实时性要求较高的应用场景。

林子雨大数据技术原理与应用第二章课后题答案

大数据第二章课后题答案黎狸1. 试述Hadoop 和谷歌的MapReduce 、GFS 等技术之间的关系。

Hadoop 是Apache 软件基金会旗下的一-个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。

①Hadoop 的核心是分布式文件系统( Hadoop Ditributed FileSystem,HDFS ) 和MapReduce 。

②HDFS是对谷歌文件系统( Google File System, GFS ) 的开源实现，是面向普通硬件环境的分布式文件系统，具有较高的读写速度、很好的容错性和可伸缩性，支持大规模数据的分布式存储，其冗余数据存储的方式很好地保证了数据的安全性。

③MapReduce 是针对谷歌MapReduce 的开源实现，允许用户在不了解分布式系统底层细节的情况下开发并行应用程序,采用MapReduce 来整合分布式文件系统上的数据，可保证分析和处理数据的高效性。

2. 试述Hadoop 具有哪些特性。

Hadoop 是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性。

①高可靠性。

采用冗余数据存储方式，即使一个副本发生故障，其他副本也可以保证正常对外提供服务。

②高效性。

作为并行分布式计算平台，Hadoop 采用分布式存储和分布式处理两大核心技术，能够高效地处理PB 级数据。

③高可扩展性。

Hadoop 的设计目标是可以高效稳定地运行在廉价的计算机集群上，可以扩展到数以千计的计算机节点。

④高容错性。

采用冗余数据存储方式，自动保存数据的多个副本，并且能够自动将失败的任务进行重新分配。

⑤成本低。

Hadoop 采用廉价的计算机集群，成本比较低，普通用户也很容易用自己的PC 搭建Hadoop 运行环境。

⑥运行在Linux 平台上。

Hadoop 是基于Java 语言开发的，可以较好地运行在Linux 平台上。

Hadoop与传统数据库的对比与选择指南

Hadoop与传统数据库的对比与选择指南在当今信息爆炸的时代，数据已经成为企业和个人生活中不可或缺的一部分。

为了更好地管理和分析海量数据，人们需要借助各种数据库技术。

Hadoop和传统数据库是目前最为常用的两种数据库技术，它们各自有着独特的特点和适用场景。

本文将对Hadoop和传统数据库进行对比，并为读者提供选择指南。

1. 数据模型与处理方式Hadoop是一个分布式计算框架，其核心是分布式文件系统HDFS和分布式计算框架MapReduce。

Hadoop采用了一种称为"schema on read"的数据模型，即数据在读取时才进行结构化。

这使得Hadoop非常适合处理半结构化和非结构化数据，例如日志文件、文本文件等。

而传统数据库则采用"schema on write"的数据模型，即数据在写入时就需要进行结构化。

传统数据库适用于结构化数据，例如关系型数据库中的表格数据。

2. 数据存储与处理能力Hadoop的分布式文件系统HDFS可以存储海量数据，并通过数据切分和分布式计算进行高效处理。

Hadoop的分布式计算框架MapReduce可以将计算任务分解成多个子任务，并在集群中并行执行。

这使得Hadoop在大数据处理方面具有很强的能力。

而传统数据库则更适合处理小规模的数据，其存储和计算能力相对较弱。

3. 数据一致性与事务支持Hadoop的分布式计算框架MapReduce在处理数据时，不保证数据的强一致性。

这意味着在某些场景下，Hadoop可能会出现数据丢失或不一致的情况。

而传统数据库具有强一致性和事务支持的特性，可以保证数据的完整性和一致性。

因此，在对数据一致性要求较高的场景下，传统数据库更为适合。

4. 成本与扩展性Hadoop是开源的分布式计算框架，其软件本身是免费的。

同时，Hadoop可以运行在廉价的硬件设备上，降低了成本。

而传统数据库通常需要购买商业许可证，并且需要较高性能的硬件设备来支撑。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

６苏州大学学报（工科版）第３０卷
图１Ｉ－ＩＤＦＳ架构
２ＨＤＦＳ与ＬｉｎｕｘＦＳ比较
ＨＤＦＳ的节点不管是ＤａｔａＮｏｄｅ还是ＮａｍｅＮｏｄｅ都运行在Ｌｉｎｕｘ上，ＨＤＦＳ的每次读／写操作都要通过ＬｉｎｕｘＦＳ的读／写操作来完成，从这个角度来看，ＬｉｎｕｘＰＳ是ＨＤＦＳ的底层文件系统。

２．１目录树（ＤｉｒｅｃｔｏｒｙＴｒｅｅ）
两种文件系统都选择“树”来组织文件，我们称之为目录树。

文件存储在“树叶”，其余的节点都是目录。

但两者细节结构存在区别，如图２与图３所示。

一二
Ｒｏｏｔ
＼
图２ＩｔＤＦＳ目录树围３ＬｉｎｕｘＦＳ目录树
２．２数据块（Ｂｌｏｃｋ）
Ｂｌｏｃｋ是ＬｉｎｕｘＦＳ读／写操作的最小单元，大小相等。

典型的ＬｉｎｕｘＦＳＢｌｏｃｋ大小为４ＭＢ，Ｂｌｏｃｋ与ＤａｔａＮ－ｏｄｅ之间的对应关系是固定的、天然存在的，不需要系统定义。

ＨＤＦＳ读／写操作的最小单元也称为Ｂｌｏｃｋ，大小可以由用户定义，默认值是６４ＭＢ。

Ｂｌｏｃｋ与ＤａｔａＮｏｄｅ的对应关系是动态的，需要系统进行描述、管理。

整个集群来看，每个Ｂｌｏｃｋ存在至少三个内容一样的备份，且一定存放在不同的计算机上。

２．３索引节点（ＩＮｏｄｅ）
ＬｉｎｕｘＦＳ中的每个文件及目录都由一个ＩＮｏｄｅ代表，ＩＮｏｄｅ中定义一组外存上的Ｂｌｏｃｋ。

ＨＤＰＳ中ＩＮｏｄｅ是目录树的单元，ＨＤＦＳ的目录树正是在ＩＮｏｄｅ的集合之上生成的。

２．４目录项（Ｄｅｎｔｒｙ）
Ｄｅｎｔｒｙ是ＬｉｎｕｘＦＳ的核心数据结构，通过指向父Ｄｅｎ姆和子Ｄｅｎｔｒｙ生成目录树，同时也记录了文件名并
指向ＩＮｏｄｅ，事实上是建立了＜ＦｉｌｅＮａｍｅ，ＩＮｏｄｅ＞，目录树中同一个ＩＮｏｄｅ可以有多个这样的映射，这正是连
分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较
与分析
作者：许春玲，张广泉， Xu ChunLing， Zhang Guangquan
作者单位：许春玲,Xu ChunLing(苏州大学计算机科学与技术学院,江苏,苏州,215006)，张广泉,Zhang Guangquan(苏州大学计算机科学与技术学院,江苏,苏州,215006;中国科学院软件研究所计算
机科学国家重点实验室,北京,100080)
刊名：
苏州大学学报（工科版）
英文刊名：JOURNAL OF SUZHOU UNIVERSITY(ENGINEERING SCIENCE EDITION)
年，卷(期)：2010，30(4)
被引用次数：0次
1.John Howard.Michael Kazar.Sherri Menees Scale and performance in a distributed file system 1988(1)
2.Luiz A Barroso.Jeffrey Dean.Urs H¨olzle Web search for a planet:the Google cluster architecture 2003(2)
1.期刊论文曹宁.吴中海.刘宏志.张齐勋.CAO Ning.WU Zhong-hai.LIU Hong-zhi.ZHANG Qi-xun HDFS下载效率的优化-计算机应用2010,30(8)
针对HDFS的内部数据下载效率较低和可能出现的负载不均衡的问题进行了研究,从分布式文件整体下栽效率和数据块的下载效率两方面提出了优化方法.实验结果表明:两个方法都能提高效率,但在集群有大量DataNode的前提下,两者结合起来的方法能更好地提高下载效率和均衡DataNode的负载.
2.学位论文黄晓云基于HDFS的云存储服务系统研究2010
随着互联网技术的飞速发展，数据量呈现出爆炸性增长的趋势，企业面临着
海量数据管理困难、数据存储成本高、可靠性低等难题。

越来越多的企业开始将
数据存储分离出来，向专业云存储服务供应商寻求帮助以进行数据的分布式管理。

云存储服务具有高可靠性、高通用性、高扩展性及大容量存储等特点，因此进行
云存储服务系统的研究不仅紧跟IT技术发展的趋势，而且具有较高的应用价值。

本文的研究内容为基于HDFS的云存储服务系统研究，旨在通过构建基于
HDFS的云存储服务系统，解决企业的海量数据存储难题，降低实施分布式文件系
统的成本，促进Hadoop技术的推广。

云存储是在当前广泛讨论的云计算概念上延
伸和发展出来的，可以将网络中大量不同类型的存储设备进行整合，从而对外提
供数据存储和业务访问的功能。

Hadoop分布式文件系统(Hadoop Distributed File
System，HDFS)是开源云计算软件平台Hadoop框架的底层实现部分，具有高传输
率、高容错性等特点，可以以流的形式访问文件系统中的数据，从而解决访问速
度和安全性问题，实现海量数据的存储管理。

本文首先阐述了云存储的相关理论，介绍了云存储的定义、云存储系统结构
和云存储服务系统的应用等内容；接着对HDFS数据管理机制及其实现技术进行
了详细分析，为论文下一步的研究提供了技术保障；最后，通过结合实际需求，
在对某云存储服务系统业务分析的基础上，对服务系统存储体系结构、功能结构、
数据库及运行环境进行了设计，并对该系统加以实现，从而为企业海量数据存储
提供了一个有效的解决方案。

本文主要实现了一个面向企业应用的云存储服务系统，解决了大规模非结构
化数据的在线存储、查询、备份等问题，为企业应用提供了高效能、高可靠性的
服务。

尽管云存储服务系统目前已经取得了一定的研究成果，但对于如何保障云
中数据的安全和隐私这一问题，仍是今后研究的重点，也是亟待解决的难题。

关键词：Hadoop；HDFS；云存储；云存储服务系统
3.期刊论文林清滢.LIN Qing-ying基于Hadoop的云计算模型-现代计算机（专业版）2010(7)
Hadoop是一个更容易开发和并行处理大规模数据的分布式计算平台,也是目前最为广泛应用的开源云计算软件平台.在对Hadoop平台上的分布式文件系统HDFS和计算模型Map/Reduce进行深入分析和研究的基础上,给出基于Hadoop的云计算模型和实现步骤.
4.期刊论文王润华基于Hadoop集群的分布式日志分析系统研究-科技信息2009(15)
当数据存储和计算遇到瓶颈时,分布式技术相对于传统的向上扩展技术在伸缩性和成本上都具有巨大的优势.本文介绍了开源的分布式编程框架Hadoop,并通过具体的代码说明了基于Hadoop集群的分布式日志分析系统的工作方式.
5.会议论文孙兆玉.袁志平.黄宇光面向数据密集型计算Hadoop 及其应用研究2008
当前的数据密集型计算需要处理PB级数据集和GB级数据流，面临着大规模数据管理、复杂计算环境管理、可扩展计算平台等方面的难题。

Hadoop是一种易扩展的分布式计算架构，能将廉价PC节点联合起来提供大型计算服务—其HDFS提供大规模存储管理，其Map-Reduce并行框架为用户提供容易使用的并行编程模式。

本文研究了Hadoop架构并探讨了在数据密集型计算中的应用。

6.期刊论文拓守恒.Tuo Shouheng云计算与云数据存储技术研究-电脑开发与应用2010,23(9)
在介绍了现有的云计算定义和特点的基础上,设计出了通用云计算的体系结构,针对云计算与其存储技术,给出了云存储系统的结构模型,分析了两种新型存储技术:GFS(Google File System)和HDFS(Hadoop Distributed File System);最后深入分析云计算和存储的发展趋势.
本文链接：/Periodical_szscgxyxb201004002.aspx
授权使用：黄小强(wfxadz)，授权号：05abb7e1-ea06-4277-8a49-9e9701656374
下载时间：2011年2月27日。