Hadoop全分布式安装配置

Hadoop全分布式安装配置

一实验目的：

1、了解Hadoop的体系结构、组成；

2、熟练掌握Hadoop的配置、安装方法；

3、通过安装Hadoop了解Hadoop的原理；

二实验内容：

集群包含三个安装了Linux操作系统的节点。将其中的一个节点作为NameNode，另外两个节点作为DataNode，安装之前先利用ping命令，确认三个节点之间的网络互通，即可以互相ping通。假设三个节点IP地址如下，实际的集群节点IP地址可以不同。

NameNode：192.168.198.2 主机名：master

DataNode1：192.168.198.3 主机名：slaver1

DataNode2：192.168.198.4 主机名：slaver2

三实验环境：

在申请的虚拟服务器上安装了VMWare Workstation虚拟3个Ubuntu14.04系统。

四安装配置过程：

1、安装Vmware WorkStation软件

下载安装Vmware WorkStation12.0软件。

2、在虚拟机上安装linux操作系统

在Vmware WorkStation12.0中创建一个Ubuntu14.04系统。拷贝镜像文件复制出三个系统。分别为master、slaver1、slaver2。

3、配置hosts、hostname文件

在三台机器上配置相同的hosts文件

（1）修改hosts

sudo gedit /etc/hosts

192.168.198.200 master

192.168.198.199 slave1

192.168.198.198 slave2

（2）修改hostname

sudo gedit /etc/hostname

4、配置ip地址

配置ip：sudo gedit /etc/network/interfaces slave2

auto eth0

iface eth0 inet static

address 192.168.198.198

gateway 192.168.198.107

netmask 255.255.255.0

slave1

auto eth0

iface eth0 inet static

address 192.168.198.199

gateway 192.168.198.107

netmask 255.255.255.0

master

auto eth0

iface eth0 inet static

address 192.168.198.200

gateway 192.168.198.107

netmask 255.255.255.0 master节点配置如下：

slave1节点配置如下：

Slave2节点配置如下：

测试：配置完成后，三个系统可以相互ping通。

5、安装jdk1.8

（1）将jdk1.8安装包拷贝至home下

(2) 解压 sudo tar zxvf jdk-8u65-linux-i586.tar.gz

（3）安装

将解压后的文件夹改名jdk

sudo cd /usr/lib

sudo mkdir jvm

sudo cp -r jdk /usr/lib/jvm

(4)修改环境变量

sudo gedit /etc/profile

添加：

#set java environment

export JAVA_HOME=/usr/lib/jvm/jdk

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

（5）配置默认JDK版本

sudo update-alternatives --install /usr/bin/java java

/usr/lib/jvm/jdk/bin/java 300

sudo update-alternatives --install /usr/bin/javac javac

/usr/lib/jvm/jdk/bin/javac 300

sudo update-alternatives --config java

（6）测试java -version

6、安装openssh

(1) 安装SSH：

sudo apt-get install ssh

(2) 查看是否生成目录.ssh：

ls -al /home/hl/

(3)如果没有，手动创建目录.ssh：

mkdir /home/hl/.ssh

(4)生成公、私密钥：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

或ssh-keygen -t rsa

(5)将公钥加到用于认证的公钥文件中：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

或

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

注：步骤（3)(4)(5)不要用sudo权限命令，否则生成的公钥不可用，配置将不成功(6)验证是否SSH安装成功：

ssh -version

(7)免密码登陆：

单机回环ssh免密码登录测试：ssh localhost

Master节点测试：