linux安装+hadoop配置

多机环境下的hadoop平台搭建过程说明

目录

一、引言 (1)

二、部署过程说明 (2)

2.1、部署阶段 (2)

2.1.1、安装ubuntu-14.04.2-desktop-amd64 (3)

2.1.2、安装jdk 第一步：在usr下面新建一个文件夹Java, 然后将jdk复制

过来 (13)

2.1.3、安装hadoop (14)

2.1.4、配置JAVA环境变量 (15)

2.1.5、创建ssh-key (16)

2.2、多机环境下的配置阶段 (18)

2.2.1、/etc/hosts文件的配置修改 (18)

2.2.2、多机的ssh-key配置 (19)

2.2.3、JAVA_HOME环境变量的配置 (19)

2.2.4、master和slaves文件的配置修改 (20)

2.2.5、core-site、mapred-site和hdfs-site文件的配置修改 (20)

2.2.6、复制master的配置文件到各个slaves (21)

2.3、启动运行阶段 (22)

2.3.1、格式化namenode (首次运行必需) (22)

2.3.2、启动hadoop (22)

三、参考资源 (24)

一、引言

多机环境下的hadoop平台搭建是通过在每台机器上部署

hadoop来构成一个hadoop的集群运行环境。

本文的环境搭建是在每台机器上安装双系统（windows和linux）或者单linux系统。本文hadoop部署之前下载了如下的程序：ubuntu-14.04.2-desktop-amd64、hadoop 2.7.0、jdk1.7.0 for linux。这些程序均可以从网上下载，其中jdk1.7.0 for linux

（此处下载的是64位的）是直接从官网上下载。

本文的环境搭建选择了三台机器，其中一台机器要作为master,而另外两台机器要作为slaves。

二、部署过程说明

参考网上相关资源，本文所采取的部署过程分为三个阶段：单

机部署阶段、多机环境下的配置阶段、和启动运行阶段。单机部署

阶段主要是在每台机器上安装和配置unbuntu、JDK 和hadoop程序；第二阶段主要是进一步配置每台机器，以构成hadoop集群环境；第

三个阶段主要是启动hadoop。

各个阶段的详细操作步骤如下。

2.1、部署阶段

单机部署阶段主要是对集群环境中的每台机器，进行ubuntu、JDK和hadoop的安装与配置。该阶段要做的工作与单机版的hadoop

平台搭建类似。

2.1.1、安装ubuntu-14.04.2-desktop-amd64

2.1.1.1安装工具：easyBCD，DAEMON tools，（安装最好选择

默认路径）ubuntu-14.04.2-desktop-amd64.iso 建议将iso文件移

动到c盘根目录。

2.1.1.2安装过程(在win7下安装ubuntu，即双系统,如果你想安装单

linux系统，可以直接跳到,2.1.1.2.7步）：

2.1.1.2.1磁盘预留可用空间

计算机->右键->管理

2.1.1.2.2右键单击选择要压缩的磁盘（本例选择D盘，最好选

择最后的磁盘），右键选择“压缩卷”

2.1.1.2.3在输入压缩空间量（MB）里填写要压缩出的空间量，如果

要压缩出50G，填写50G*1024MB

2.1.1.2.4压缩后会发现多出一块未分区磁盘（绿色分区，这个只是

样例），出现这样就可以了，我们的linux将安装到这个绿色的空闲分区内，这样我们可以在windows下删除linux系统。

2.1.1.2.5安装完成的效果图如下：

2.1.1.2.6如果从windows磁盘管理内无法分出，可以使用磁盘分区

工具DiskGenius，建议从windows最后一个磁盘进行分区，分完后格式化所分出来的磁盘，然后删除卷，就会出现上图绿色的可用空间状态（一定要删除卷，让它成空闲分区）。

2.1.1.2.7打开easyBCD软件可以看到目前只有一个win7启项。

2.1.1.2.8选择“添加新条目”，然后选择“NeoGrub”，点击“安装”

2.1.1.2.9点击右边的配置

2.1.1.2.10将打开的menu.lst文件的内容替换成一下文本：title Install Ubuntu

root (hd0,0)

kernel (hd0,0)/vmlinuz.efi boot=casperiso-scan/filename=/ubuntu-14.04-desktop-amd64.iso locale=zh_CN.UTF-8

initrd (hd0,0)/initrd.lz

title reboot

reboot

title halt

halt

说明：

a)hd0表示c盘所处的硬盘号，一般电脑只有一个，所以都是hd0；如

果有多个硬盘，则根据情况改为hd0、hd1等。（因为我们直接把

ubuntu-14.04-desktop-amd64.iso镜像文件拷到了C盘，直接写

hd0就OK了）

b)其中filename要改成你自己下载的ubuntu版本的镜像文件的名字

（上面黄色内容）

2.1.1.2.11然后把系统镜像文件用DAEMON tools打开，或者以压缩包

形式将其中两个文件解压出来，分别是initrd.lz和vmlinuz.efi，这两个文件在casper文件夹里。

此处我们用DAEMON tools打开（一定要点击打开文件夹）