hadoop学习心得

竭诚为您提供优质文档/双击可除

hadoop学习心得

篇一：hadoop初步学习文档

hadoop初步学习文档

1hadoop简介

Apachehadoop是一款支持数据密集型分布式应用并以Apache2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。hadoop是根据google 公司发表的mapReduce和google文件系统的论文自行实现而成。

1.1hadoop基本构成

hadoop是一个能够对大量数据进行分布式处理的软件框架,hadoop实现了一个分布式文件系统（hadoopDistributedFilesystem），简称hDFs。hadoop的集群是基于master/slave模式

hadoop基本运行结构图如下：

其中master和slave1、slave2、

slave3、slave4分别为五台主机，namenode、Datanode

等为运行在主机上的进程。进程的作用如下：

（一）namenode是hDFs的守护程序，负责记录文件是

如何分割成数据块的，以及这些数据块分别被存到那些数据节点上，主要功能是对内存及I/o进行集中管理（是个单点，发生故障将使集群崩溃）

（二）Datanode这个后台程序负责把hDFs数据块读写

到本地的文件系统，当客户端要读写某个数据时候，先由namenode告诉客户端去哪个Datanode进行具体的读/写操作，然后客户端直接与这个Datanode服务器上的后台程序进行

通讯，并且对相关的数据块进行读/写操作。

（三）secondarynamenode：是一个用来监控hDFs状态的辅助后台程序，就像namenode一样，每个集群都有一个secondarynamenode，不接收或记录任何实时的数据变化，

但是，

他会与namenode进行通信，以便定期的保存hDFs元数据的快照，如果name发生问题，secondarynamenode可以及时的作为备用namenode。

（四）JobTracker：用来连接应用程序与hadoop，用户代码提交到集群以后，由JobTracker决定那个文件将被处理，并且为不同的task分配节点，同时，他还监控所有运

行的task一旦某个task失败了JobTacker就会自动重新开启task。每个集群只有唯一一个JobTracker，位于master

节点

（五）TaskTracker：与负责存储的Datanode结合，JobTracker负责分配Tasker，管理各自节点上的task。每个节点只有一个TaskTracker，但一个TaskTracker可以启动多个JVm，用于并行执行map或reduce

任务

1.2hadoop版本演进

hadoop经历了从hadoop1.x到hadoop2.x的演变，其中hadoop1.x中的namenodes只可能有一个，虽然可以通过secondarynamenode与namenode进行数据同步备份，但是总会存在一定的时延，如果namenode挂掉，但是如果有部分数据还没有同步到secondarynamenode上，还是可能会存在着数据丢失的问题。其架构图如下：

hadoop2相比较于hadoop1.x来说，hDFs的架构与mapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，hadoop2中有两个重要的变更：（1）hDFsnamenodes可以以集群的方式布署，增强了namenodes 的水平扩展能力和可用性；（2）mapReduce将JobTracker中的资源管理及任务生命周期管理（包括定时触发及监控），拆分成两个独立的组件，并更名为YARn （YetAnotherResourcenegotiator）。

hadoop2.x架构图如下：

2hadoop开发环境搭建

hadoop是一个开放源代码的大数据处理平台，既可以在windows系统下运行，也可以在linux系统下运行，但是由于其开源特性及系统性能等方面的原因，目前主要应用是在linux系统下，因此学习使用hadoop开发，一定要熟悉linux 系统的一些必要知识。

2.1应用系统之linux系统

Linux是一种自由和开放源代码的类unIx操作系统。Linux本身只是一个内核。在加上用户空间的应用程序之后，成为Linux操作系统。Linux也是自由软件和开放源代码软件发展中最著名的例子。只要遵循gnu通用公共许可证，任何个人和机构都可以自由地使用Linux的所有底层源代码，也可以自由地修改和再发布。大多数Linux系统还包括像提供guI的xwindow之类的程序。除了一部分专家之外，大多数人都是直接使用Linux发行版，而不是自己选择每一样组件或自行设置。

目前常用的Linux发行版本比较多，常用的有：

一、Redhat又称为小红帽，在国内，乃至是全世界的Linux用户所最熟悉、最耳闻能详的发行版。目前Redhat分为两个系列：由Redhat公司提供收费技术支持和更新的RedhatenterpriseLinux，以及由社区开发的免费的Fedoracore。Fedoracore的定位是桌面用户。它的版本更新

周期也非常短，仅六个月。因此服务器上大多数不用Fedoracore。适用于服务器的版本是RedhatenterpriseLinux，而由于这是个收费的操作系统。于是，国内外许多企业或空间商选择centos。centos可以算是RedhatenterpriseLinux的克隆版，但它最大的好处是免费！因此目前的服务器便采用的centos系统。由于centos 是开源的，可以到官网去下载安装centos系统。目前我们使用的Linux系统也正是centos6.5系统。

二、ubuntu系统，这是比较常用的桌面发行版系统，ubuntu的安装非常的人性化，只要按照提示一步一步进行，安装和windows同样简便！并且，ubuntu被誉为对硬件支持最好最全面的Linux发行版之一，许多在其他发行版上无法使用，或者默认配置时无法使用的硬件，在ubuntu上轻松搞定。并且，ubuntu采用自行加强的内核（kernel），安全性方面更上一层楼。并且，ubuntu默认不能直接root登陆，必须从第一个创建的用户通过su或sudo来获取root权限（这也许不太方便，但无疑增加了安全性，避免用户由于粗心而损坏系统）。ubuntu的版本周期为六个月，弥补了Debian 更新缓慢的不足。优点：人气颇高的论坛提供优秀的资源和技术支持，固定的版本更新周期和技术支持，可从Debianwoody直接升级缺点：还未建立成熟的商业模式。ubuntu系统安装简单，使用界面友好，适合入门使用。