Hadoop配置

1.Hadoop

Hadoop是Apache基金会下的一个开源分布式计算平台，以Hadoop分布式文件系统HDFS （Hadoop Distributed File System）和MapReduce分布式计算框架为核心，为用户提供了底层细节透明的分布式基础设施。HDFS的高容错性、高伸缩性等优点，允许用户将Hadoop 部署在廉价的硬件上，构建分布式系统。MapReduce分布式计算框架则允许用户在不了解分布式系统底层细节的情况下开发并行、分布的应用程序。

Hadoop分为HDFS和MapReduce两大部分。

其中，HDFS和MapReduce可以看做是完全分离的两部分。HDFS完全是一个数据容器，是用来管理数据的。而MapReduce负责分配任务、处理。

Hadoop的优势

Hadoop主要有如下几个优势：

方便：Hadoop可以运行在一般商业机器构成的大型集群上，或者是亚马逊弹性计算云（Amazon EC2）等云计算服务上。

弹性：Hadoop通过增加集群节点，可以线性地拓展以处理更大的数据集。同时，在集群负载下降时，也可以减少节点，以高效使用计算资源。

健壮：Hadoop在设计之初，就将故障检测和自动回复作为一个设计目标，它可以从容处理通用计算平台上出现的硬件失效的情况。

简单：Hadoop允许用户快速编写出高效的并行分布代码。

Hadoop应用情况

Hadoop目前在学术界和工业界都大受欢迎。

学术界：

内布拉斯加大学通过使用Hadoop，支持紧凑型μ子螺旋形磁谱仪实验数据的保存和计算。加州大学伯克利分校则对Hadoop进行研究，以提高整体性能。在或内，中国科学院计算研究所在Hadoop上开展了数据挖掘和地理信息处理等研究。

工业界：

淘宝Hadoop集群现在超过1700个节点，服务于用于整个阿里巴巴集团各部门，数据来源于各部门产品的线上数据库（Oracle, MySQL）备份，系统日志以及爬虫数据，截止2011年9月，数量总量已经超过17个PB，每天净增长20T左右。每天在Hadoop集群运行的MapReduce任务有超过4万（有时会超过6万），其中大部分任务是每天定期执行的统计任务，例如数据魔方、量子统计、推荐系统、排行榜等等。这些任务一般在凌晨1点左右开始执行，3-4个小时内全部完成。每天读数据在2PB左右，写数据在1PB左右。

（来源：https://www.360docs.net/doc/0b5676862.html,/ggjucheng/archive/2012/10/09/2717393.html）

百度现在拥有3个Hadoop集群，总规模在700台机器左右，其中有100多台新机器和600多台要淘汰的机器(它们的计算能力相当于200多台新机器)，不过其规模还在不断的增加中。现在每天运行的MapReduce任务在3000个左右，处理数据约120TB/天。在百度，Hadoop主要应用于以下几个方面：

·日志的存储和统计;

·网页数据的分析和挖掘;

·商业分析，如用户的行为和广告关注度等;

·在线数据的反馈，及时得到在线广告的点击情况;

·用户网页的聚类，分析用户的推荐度及用户之间的关联度。

（来源：https://www.360docs.net/doc/0b5676862.html,/a2013/0912/1533/000001533482.shtml）

Hadoop最主要的三个概念

a)Hadoop Common

从Hadoop 0.20版本开始，原来Hadoop项目的Core部分更名为Hadoop Common。

Common为Hadoop的其他项目提供了一些常用工具，主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。

它们为在通用硬件上搭建云计算环境提供基本的服务，并未运行在该平台上的软件开发提供了所需的API。

b)HDFS

Hadoop最底层的是Hadoop Distributed File System（HDFS）。它是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。

b.1) HDFS结构

HDFS类似于一个传统的分级文件系统，而它具体是由一组特定的节点构成。如下：

NameNode（只有一个），它可以看作是分布式文件系统中的管理者，它维护着整个文件系统的文件目录树、文件/目录的元信息和文件的数据块索引。

这些信息以两种形式存储在本地文件系统中：1. 文件系统镜像（File System Image，也叫命名空间镜像）2. 命名空间镜像的编辑日志（Edit Log）。其中命名空间镜像保存着某一特定时刻HDFS的目录树、元信息和数据块索引等信息；而后续对这些信息的改动，则保存在编辑日志中。

Secondary NameNode是用于定期合并命名空间镜像和镜像编辑日志的辅助进程。Secondary NameNode合并出新的命名空间镜像后，并将它上传到NameNode上，替换。定期替换，使得NameNode上的编辑日志不会过大。

DataNode负责将HDFS数据块写到Linux本地文件系统的实际文件中，或者从这些实际

文件中读取数据块。

b.2)HDFS主要工作流程

b.2.1) 客户端读文件

第一步：客户端通过FileSystem.open()打开文件，对应的HDFS具体文件系统，DistributedFileSystem创建输出流FSDataInputStream，返回给客户端。

第二步：DFSInputStream的构造函数，会通过ClientProtocol.getBloclLacations()确定文件文件开始部分数据块的保存位置。

第三、四步：客户端调用FSDataInputStream.read()方法读取文件数据。

第五、六步：读取数据的时候，当到达块的末端时，FSDataInputStream会关闭和数据节点间的连接，并通过getBlockLacations()获得保存着下一个数据块的数据节点信息。

需要注意的是，NameNode只处理数据块定位请求，而实际的读取文件所引起的数据传输被分散到集群的各个DataNode，这使得HDFS可以支持大量的并发客户端。

b.2.2) 客户端写文件

第一步：客户端调用DistributedFileSystem的create()方法创建文件，DistributedFileSystem 再创建DFSOutputStream

第二步：DFSOutputStream让NameNode执行create()方法，NameNode在检查过后，创建文件。

第三、四步：客户端在写入数据时，DFSOutputStream实例首先用addBlock()方法向NameNode申请数据块，申请成功后，返回一个LocatedBlock对象，该对象包含了新数据块的数据块表示和版本号。确认包

第五、六步：客户端写数据，数据通过FSDataOutputStream被分成一个一个的文件包，

放入DFSOutputStream对象的内部队列，该队列中的文件包最后打包成数据包，发往数据流管道。确认包（ack）逆流而上，从数据流管道以此发往客户端，当客户端收到应答时，它将对应的包从内部队列移除。

第七步：DFSOutputSteam写完一个数据块之后，数据流管道上的节点向NameNode提交数据块。如果数据队列还有等待输出的数据，DFSOutputStream对象再次调用addBlock()方法，为文件添加新的数据块。

b.2.3) 数据节点的启动和心跳

第一步：versionRequest只涉及构建版本号，保证它们之间的HDFS版本是一致的。

第二步：DataNode发送远程调用register()，向名字节点注册。

第三步：注册成功后，DataNode会将它管理的所有数据块信息，通过blockReport()方法上报到名字节点，帮助名字节点建立HDFS文件数据块到DataNode的映射关系。

第四步：之后，DataNode每隔一段时间都会发送心跳到名字节点，如果名字节点长时间接受不到数据节点的心跳，它会认为数据节点已经失效。

c)MapReduce计算模型

c.1) MapReduce的原理

MapReduce的精妙之处在于，将一个数据域分解成好几个部分，分别对这几个部分采取Map和Reduce操作，得到的结果和原数据域的Map Reduce结果是一样的。这样使得一个数据域，可以被切分成好几个部分进行并行处理，结果一样，但是速度更快。

例如下面这个例子：

假设输入域是one small step for man,one giant leap for mankind。在这个域上运行Map 函数将得出以下的键/值对列表：

（one,1）(small,1）(step,1）(for,1）(man,1）(one,1）(giant,1）(leap,1）(for,1）(mankind,1）

如果对这个键/值对列表应用Reduce 函数，将得到以下一组键/值对：

（one,2）(small,1）(step,1）(for,2）(man,1）（giant,1）(leap,1）(mankind,1）

结果是对输入域中的单词进行计数，这无疑对处理索引十分有用。但是，假设有两个输入域，

第一个是one small step for man，第二个是one giant leap for mankind。您可以在每个域上执行Map 函数和Reduce 函数，然后将这两个键/值对列表应用到另一个Reduce 函数，这时得到与前面一样的结果。

Map 函数接受一组数据并将其转换为一个键/值对列表，输入域中的每个元素对应一个键/值对。Reduce 函数接受Map 函数生成的列表，然后根据它们的键（为每个键生成一个键/值对）缩小键/值对列表。

MapReduce可以处理的典型问题包括Top K问题、K-means聚类、贝叶斯分类等。

c.2) MapReuce结构

HDFS（对于本文）的上一层是MapReduce 引擎，该引擎与HDFS一样采用了主从结构，具体结构如下：

JobTrakers：JobTracker 主要负责资源监控和作业调度。

JobTrackers可以根据文件块的信息确定创建TaskTrackers从属任务。具体就是：任务被复制到每一个出现输入文件块的节点，任务会为特定节点上的每一个文件块创建一个唯一的从属任务。

TaskTrackers：TaskTracker 会周期性地通过Heartbeat 将本节点上资源的使用情况和任务的运行进度汇报给JobTracker，同时接收JobTracker 发送过来的命令并执行相应的操作（如启动新任务、杀死任务等）。

Map Task：Task 分为Map Task 和Reduce Task 两种，均由TaskTracker 启动。每个Map Task处理一个split（MapReduce的处理单位），split与block的对应关系如下。

Map Task的执行过程如下，Map Task 先将对应的split 迭代解析成一个个key/value 对，依次调用用户自定义的map() 函数进行处理，最终将临时结果存放到本地磁盘上，其中临时数据被分成若干个partition，每个partition 将被一个Reduce Task 处理。

Reduce Task：Reduce Task 执行过程如图2-8 所示。该过程分为三个阶段①从远程节点上读取Map Task 中间结果（称为“Shuffle 阶段”）；②按照key 对key/value 对进行排序（称为“Sort 阶段”）；③依次读取，调用用户自定义的reduce() 函数处理，并将最终结果存到HDFS 上（称为“Reduce 阶段”）。

c.3) 一个MapReduce任务的执行周期

一个MapReduce 作业的运行周期是，先在Client 端被提交到JobTracker 上，然后由JobTracker 将作业分解成若干个Task，并对这些Task 进行调度和监控，以保障这些程序运行成功，而TaskTracker 则启动JobTracker 发来的Task，并向JobTracker 汇报这些Task 的运行状态和本节点上资源的使用情况。

总结：

HDFS是采用多项分布式技术实现的文件系统，HDFS多个实体之间存在着多种信息交互的过程，部分过程使用Hadoop远程过程调用实现，充分利用了IPC机制；在需要大量交换数据的场景中，则使用基于TCP或者HTTP的流式接口。接口如下：

Hadoop的分布式架构使得它具有极大的扩展性。同时，它将处理移到存储，而非将存储移到其他的地方，因此这样可以支持高效的数据处理。

这个架构，将处理引擎尽可能的接近存储，因此比较适合于批处理任务（例如ETL），因为批处理结果可以直接的走向存储。MapReduce实现了将任务分解成若干个任务碎片，并将若干个任务碎片发送（Map）到多个节点上，之后再以单个数据集的形式加载（Reduce）到数据仓库里。

Hadoop单节点搭建

一、基础环境搭建：

1.下载VM虚拟机7.1.2 并安装

2.下载Ubuntu 10.04.2-desktop-i386.iso镜像文件，并安装到虚拟机内（网上有教程

https://www.360docs.net/doc/0b5676862.html,/link?url=KzFoRIvlHDr9ptU8EsZ4x05Ku1oHA0d05kXzbM9jRPH2bCvV 93CA6j23UEg-mYSvYCCbq7WFJsiC0e2_GEyLbATlmhqJ7a1vitdIqXhGKYe）

Hadoop集群会用到3个节点Master Slave1 Slave2

其中一个节点Slave1的用户名设置如下：

Master和Slave2的用户名与Slave1一致。如下：

3.安装JDK环境

(1)下载JDK-6u20-linux，并将它复制到主文件夹home/ubuntu下

(2)更改jdk文件的权限，并安装jdk

chmod 777 /home/ubuntu/jdk-6u20-linux-i586.bin //添加文件权限

./jdk-6u20-linux-i586.bin //安装JDK

(3) 找到etc/profile文件，在末尾添加classpath变量等内容：

(5)测试JDK安装是否成功

which java

// 成功的话，则显示/home/ubuntu/jdk1.6.0_12/bin/java，也就是java安装时的目录。

4.安装SSH，实现SSH的无密码连接

(1)sudo apt-get install ssh

(2)生成密匙对

ssh–keygen –t rsa --P，一直按回车，所有的设置都采用默认的。

如上图，则表明密匙生成成功，在/home/ubuntu/.ssh目录下，生成id_rsa私钥、id_rsa.pub 公钥和其他一些文件。

(3)复制公钥id_rsa.pub，并命名为authorized_keys，为受信列表。

cp id_rsa.pub authorized_keys

(4)修改相应文件夹的权限，保证电脑不会因为权限问题而拒绝ssh访问

(5)测试能否无密码ssh访问本机

ssh master

如果成功，则会出现上图

一、单机Hadoop环境的搭建：

在上述基础环境搭建完成后，开始搭建单机Hadoop环境

1.修改路由信息

(1)用ifconfig命令，找到电脑的IP地址，就是下面的inet地址

(2)找到/etc/hosts，添加192.168.131.128 master(Ip地址节点名字)

这个文件是路由的时候用的。

2.安装hadoop

(1)tar -xzvf hadoop-0.20.2.tar.gz //解压hadoop安装包

(2)在conf下，找到hadoop-env.sh文件（如果需要更改权限，就在命令框中输入chmod 777

hadoop-env.sh）

打开文件，将下图：

改为下图，修改JAVA_HOME路径

另外，增加一条HADOOP_COMMON_HOME的路径

(3)配置conf目录下的core-site.xml

内容如下图，hadoop.tmp.dir是临时文件的路径

(4)配置conf目录下的mapred-site.xml

内容为下图：

(5)设置hadoop环境变量。找到/etc/profile

添加HADOOP_HOME，PATH和export内容

3.运行化测试

(1)主机上，格式化namenode

cd hadoop-0.20.2

bin/hadoop namenode -format

这样就是初始化成功。

注意：在初始化了一遍之后，永远都不要再初始化了，如果再初始化，会导致datanode 连接不上的问题。如下图，看不到datanode：

这是因为namespaceID出现了问题。

如果已经初始化了两遍，则进入hadoop-0.20.2的目录后，执行下列语句：

rm –rf tmp ；mkdir tmp。也就是清除tmp目录。

清除完之后，再初始化一次，就可以了。

(2)sudo chown –hR ubuntu /home/ubuntu/hadoop-0.20.2 //修改hadoop所在文件夹的权

限，保证hadoop用户可以正常访问其中的文件

启动hadoop。bin/start-all.sh //启动hadoop

(3)看是否成功

输入jps，主机如下，则说明已成功

运行Wordcount程序来测试

(1)准备wordcount程序

sudo gedit /tmp/test.txt

(2)将准备的测试文件上传到dfs文件系统中的firstTest目录下

bin/hadoop dfs –copyFromLocal /tmp/test.txt firstTest

(3)上传并执行wordcount任务

bin/hadoop jar hadoop-0.20.2-examples.jar wordcount firstTest result

(4)bin/ hadoop dfs -cat result/part-r-00000

（注：结果文件默认是输出到一个名为“part-r-*****”的文件中的，可用指令“hadoop dfs -ls result”查看result目录下包含哪些文件）

Hadoop集群搭建：

上述单节点配置，需要在每一个节点上完成（包括主机）。都完成之后，可以进行下面的操作。

1、配置一系列文件

没有特别说明的文件，都是主机和节点设置，完全一样。

1.查询节点Master Slave1 Slave2的IP值

在各个节点的命令框里，输入ifconfig，即可查询到ip地址，这个ip地址是不会变的。主机Master上的：

节点Slave1的：

节点slave2的

可以看到Master Slave1 Slave2节点的ip地址分别是

192.168.131.128 192.168.131.129 192.168.131.130

2.在每一台主机和节点上配置/etc/hosts文件

在文件中，添加刚才查询到的Master Slave1 Slave2节点的ip和主机名。

master slave1 slave2都一定只能有一个对应的IP值，需要将原来的127.0.1.1这一行删掉！！！否则，一个名字对应2个IP地址，会出现连接不上的问题。

3.在每一台主机和节点的hadoop的conf文件夹下，添加一个空文件，文件名为主机名，

即这里的master

之后，在这个文件中，添加主机名：

4.在每一台主机和节点的hadoop的conf文件夹下，添加2个空文件，文件名为节点名，

即这里的slave1 slave2

之后，在这两个文件中，各自节点的信息，如下：

5.配置conf下的core-site.xml文件

将https://www.360docs.net/doc/0b5676862.html,里头的localhost，改为主机名master

也就是将下图：

改为：

其中：中的value不能大于节点（即fzq2-desktop这类电脑）的个数

6.配置conf下的hdfs-site.xml文件，https://www.360docs.net/doc/0b5676862.html,.dir和dfs.data.dir就是用来存放命名空间信

息和数据信息的地址，地址分别是/home/ubuntu/hadoop-0.20.2/hdfs/name，节点就用/home/ubuntu/hadoop-0.20.2/hdfs/data

sudo gedit conf/hdfs-site.xml

如下：

7.配置conf下的mapred-site.xml文件

sudo gedit conf/mapred-site.xml

将下图：

改为

2、配置公钥

1.将主机master的公钥id_rsa.pub拷贝到节点slave1和slave2，每个节点拷贝两次，分别

保存成master.pub和jobtracker_rsa.pub。

在节点上输入：

scp ubuntu@222.25.150.194:/home/ubuntu/.ssh/id_rsa.pub /home/ubuntu/.ssh/master.pub

内容格式：（scp 来源名@来源ip:文件地址本地保存文件地址）