Hadoop全分布式安装配置

Hadoop全分布式安装配置
一实验目的：
1、了解Hadoop的体系结构、组成；
2、熟练掌握Hadoop的配置、安装方法；
3、通过安装Hadoop了解Hadoop的原理；
二实验内容：
集群包含三个安装了Linux操作系统的节点。

将其中的一个节点作为NameNode，另外两个节点作为DataNode，安装之前先利用ping命令，确认三个节点之间的网络互通，即可以互相ping通。

假设三个节点IP地址如下，实际的集群节点IP地址可以不同。

NameNode：192.168.198.2 主机名：master
DataNode1：192.168.198.3 主机名：slaver1
DataNode2：192.168.198.4 主机名：slaver2
三实验环境：
在申请的虚拟服务器上安装了VMWare Workstation虚拟3个Ubuntu14.04系统。

四安装配置过程：
1、安装Vmware WorkStation软件
下载安装Vmware WorkStation12.0软件。

2、在虚拟机上安装linux操作系统
在Vmware WorkStation12.0中创建一个Ubuntu14.04系统。

拷贝镜像文件复制出三个系统。

分别为master、slaver1、slaver2。

3、配置hosts、hostname文件
在三台机器上配置相同的hosts文件
（1）修改hosts
sudo gedit /etc/hosts
192.168.198.200 master
192.168.198.199 slave1
192.168.198.198 slave2
（2）修改hostname
sudo gedit /etc/hostname
4、配置ip地址
配置ip：sudo gedit /etc/network/interfaces slave2
auto eth0
iface eth0 inet static
address 192.168.198.198
gateway 192.168.198.107
netmask 255.255.255.0
slave1
auto eth0
iface eth0 inet static
address 192.168.198.199
gateway 192.168.198.107
netmask 255.255.255.0
master
auto eth0
iface eth0 inet static
address 192.168.198.200
gateway 192.168.198.107
netmask 255.255.255.0 master节点配置如下：
slave1节点配置如下：
Slave2节点配置如下：
测试：配置完成后，三个系统可以相互ping通。

5、安装jdk1.8
（1）将jdk1.8安装包拷贝至home下
(2) 解压 sudo tar zxvf jdk-8u65-linux-i586.tar.gz
（3）安装
将解压后的文件夹改名jdk
sudo cd /usr/lib
sudo mkdir jvm
sudo cp -r jdk /usr/lib/jvm
(4)修改环境变量
sudo gedit /etc/profile
添加：
#set java environment
export JAVA_HOME=/usr/lib/jvm/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
（5）配置默认JDK版本
sudo update-alternatives --install /usr/bin/java java
/usr/lib/jvm/jdk/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac
/usr/lib/jvm/jdk/bin/javac 300
sudo update-alternatives --config java
（6）测试java -version
6、安装openssh
(1) 安装SSH：
sudo apt-get install ssh
(2) 查看是否生成目录.ssh：
ls -al /home/hl/
(3)如果没有，手动创建目录.ssh：
mkdir /home/hl/.ssh
(4)生成公、私密钥：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
或ssh-keygen -t rsa
(5)将公钥加到用于认证的公钥文件中：
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
或
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
注：步骤（3)(4)(5)不要用sudo权限命令，否则生成的公钥不可用，配置将不成功(6)验证是否SSH安装成功：
ssh -version
(7)免密码登陆：
单机回环ssh免密码登录测试：ssh localhost
Master节点测试：
Slave1节点测试：
Slave2节点测试：
让主结点(master)能通过SSH免密码登录两个子结点（slave）注：第一次需要输入密码，第二次不用输入密码，直接连通，表示成功。

7、安装hadoop2.7.1
（1）将安装包拷贝至home下
(2) 解压 sudo tar zxvf hadoop-2.7.1.tar.gz （3）安装
解压后的文件夹改名hadoop
sudo cp -r hadoop /usr/local
（4）修改配置文件
●创建相关文件夹
cd /usr/local/hadoop
sudo mkdir tmp
sudo mkdir hdfs
sudo mkdir hdfs/name
sudo mkdir hdfs/data
●修改配置文件
cd /usr/local/hadoop/etc/hadoop
✧修改core-site.xml文件
sudo gedit core-site.xml
修改hdfs-site.xml文件sudo gedit hdfs-site.xml
✧修改mapred-site.xml文件
sudo gedit mapred-site.xml
✧修改yarn-site.xml文件
sudo gedit yarn-site.xml
✧修改hadoop-env.sh文件
sudo gedit hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk ✧修改 yarn-env.sh文件
sudo gedit yarn-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk ✧修改 slaves文件
sudo gedit slaves
slave1
slave2
8、更改hadoop目录jdk目录属主
sudo chown -R hl:hl hadoop
sudo chown -R hl:hl jdk
9、启动Hadoop（master节点操作）
先格式化namenode，然后依次启动hdfs和yarn。

bin/hadoop namenode -format
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/start-all.sh
10、用jps检验各后台进程是否成功启动
在主结点master上查看namenode,resourcemanager,secondarynamenode进程是否启动。

如果出现以上进程则表示正确。

在slave1和slave2结点了查看nodemanager和datanode进程是否启动。

先来slave1的情况:
下面是slave2的情况：
显示如上，进程都启动成功了。

11、浏览器中输入查询集群信息
（1）192.168.198.200:50070查询HDFS相关信息
（2）192.168.198.200:8088查看yarn的启动情况
12、关闭集群可以执行sbin/stop-all.sh。