Hadoop云计算平台搭建方案2.1(20200515180949)

Hadoop云计算平台搭建方案

一、平台搭建概述

总体思路

针对于电网企业在营销服务领域展开的大数据分析处理，搭建Hadoop云计算平台进行海量数据存储，并作深层次加工、处理，挖掘出无法简单直观便可得到的新的模式，为电力企业

的决策提供指导。平台采用作为海量数据存储和分析工具，将其部署在4个物理计算机节点上，搭建Hadoop集群，其中1个节点作为master节点，其余3个作为slave节点。为了获取更好的稳定性，平台搭建在Linux系统（）环境下。

软件列表

软件描述版本

VMware Workstation虚拟化软件VMware Workstation

操作系统

JDK Java的软件开发工具包

开源的云计算基础框架

分布式数据存储系统

可靠协调系统

数据迁移工具

平台搭建总流程和节点信息一览表

在平台搭建前，给出实现的总流程图和节点信息一览表，从而对平台搭建过程和各节点信息

有一个全局的认识，平台搭建总流程如下图所示。

创建虚拟机master，完成JDK、

Hadoop等应用的安装和配置

对虚拟机master进行克隆，得到的

虚拟机分别作为slave1、slave2和

完成Zookeeper、HBase等其它分布

式服务的部署，搭建Hadoop集群

运行并测试Hadoop集群系统

各节点信息如下表所示：

机器名IP地址用户名充当角色

master、Namenode

slave1、Datanode

slave2、Datanode

slave3、Datanode

二、基础平台的搭建步骤

此次大数据存储和处理平台的搭建，需要4台物理节点来部署Hadoop平台环境。我们使用

虚拟机软件VMware Workstation创建4台虚拟机，承载平台搭建工作。另外，由于对4台

虚拟机的配置大部分是相同的，所以利用VMware Workstation的克隆功能，可以减少部署

的工作量。

安装虚拟机软件VMware Workstation

首先在4台PC机器上均安装虚拟化软件VMware Workstation，并输入相应的序列号。

在master节点上安装Linux系统Ubuntu

在设定为master PC节点上首先安装Linux系统（版本为），在安装过程中为提高后期安装

软件的兼容性和稳定性，在系统语言上选择英语。创建用户名为“hadoop”的普通用户，设

置统一的密码。安装完成后将系统的terminal命令窗口调出来，以便使用。

同时，为实现虚拟机的Ubuntu系统与本机的Windows系统之间方便快捷的文字复制粘贴以

及物理主机系统与虚拟机系统相互拖放文件进行共享，需要安装VMare Tools工具，具体操

作如下：

启动虚拟机，进入Ubuntu系统，在VM菜单栏“虚拟机(M)”的下拉菜单点击“安装VMare Tools(T)”后，会弹出一个“VMare Tools”文件夹，里面包含VMare Tools的安装包，将

该安装包拷贝到/home/hadoop目录下，输入命令进行解压安装：tar xzvf 此时在

/home/hadoop/目录下产生vmware-tools-distrib文件夹，进入该目录，通过在terminal

终端输入相应命令，运行脚本：

cd /home/hadoop/vmware-tools-distrib $JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH ocal/share/', but failed: No such

file or directory

(gedit:2949): Gtk-WARNING **: Attempting to store changes into

`/root/.local/share/', but failed: Failed to create file '/root/.local/share/': No such file or directory

(gedit:2949): Gtk-WARNING **: Attempting to set the permissions of

`/root/.local/share/', but failed: No such file or directory

解决方法：只需直接在终端中输入命令：sudo mkdir -p /root/.local/share/ ，创建

警告信息中所提示的目录即可。

若无视警告重启ubuntu后将会出现以下情况：输入密码无法进入系统，一直处于输入密码

后又跳转回输入密码的界面。此时的解决方法是：在输入密码界面同时按下alt+ctrl+F2

进入ubuntu命令模式，并使用root用户及对应密码登陆系统，然后键入：/usr/bin/vi

/etc/profile打开etc/profile文件，找到最近在末尾加上的hadoop配置文件，按delete

键删除这些行，然后键入命令:wq！（注意此处有冒号，不可省略）保存文件。然后同时按下

ctrl+alt+del重启系统即可使系统恢复正常登陆，然后按照上述方法重新配置。

目录设置

在普通用户hadoop下创建hadoop的数据存储目录（若使用root用户创建上述文件夹则会因权限问题导致无法向这些文件夹中写入并读取数据），可自行选择数据存储的路径，我们

选择在/home/hadoop/文件夹下创建dfs和tmp作为数据存储与交换的目录，并在dfs文件夹下创建name和data两个子文件夹。分别执行命令：

mkdir /home/hadoop/dfs/name

/description>

*

*

（4）配置文件，打开该文件，在文件末尾添加以下语句。

文件名打开文件后，在其末尾添加语句：

file:/home/hadoop/dfs/name

file:/home/hadoop/dfs/data

4

true

注意：需要在中配置属性时，属性指定HDFS中文件块复制的份数，其默认值为3，当datanode 节点少于3台便会报错。在一般情况下，当其属性值为3的时候，HDFS的部署策略是在本

地机柜中一个节点放置一个备份，在本地机柜的不同结点再放置一个备份，然后再在另一个机柜中的一个结点放置一个备份。

（5）配置文件。事实上在进行配置之前，文件默认并不存在，需要首先将该目录下的文件

进行复制，并重命名为，接下来打开，添加以下语句。

文件名打开文件后，在其末尾添加语句：

yarn

（6）配置文件，打开该文件，在文件末尾添加以下语句。

文件名打开文件后，在其末尾添加语句：

mapreduce_shuffle

（7）配置文件，打开该文件，检索“# export JAVA_HOME=/home/y/libexec/语句，在该语句下一行添加：

export JAVA_HOME=/home/hadoop/通过对上述文件的修改，完成对Hadoop的配置。事实上，配置过程并不复杂，一般而言，除了规定的端口、IP地址、文件的存储位置外，其他配置

都不是必须修改的，可以根据需要决定是采用默认配置还是自行修改。还有一点需要注意的

是以上配置都被默认为最终参数，这些参数都不可以在程序中被再次修改。

Hadoop集群的部署与各节点的通信

安装SSH服务

通过建立SSH无密码互访，可以实现Hadoop虚拟机群之间的无密码登录互访。在安装SSH

服务之前，首先需要更新软件源，并保证每台机器上都安装了SSH服务器，且都能正常启动。更新软件源命令为：sudo apt-get update

软件源更新完毕后，在terminal输入如下命令开始安装openssh-server：

sudo apt-get install openssh-server

输入如下命令，检查openssh-server是否成功安装：

which ssh

如显示/usr/bin/ssh表示ssh安装成功

which sshd

如显示/usr/bin/sshd表示sshd安装成功

如果以上二者都成功显示，表示open-server安装成功

克隆虚拟机作为Slave节点

将上面配置好的虚拟机作为master，关闭作为master的ubuntu系统，然后修改虚拟机的

网络连接设置，改为“桥接模式”，即在master虚拟机主界面点击“虚拟机—设置—硬件—

网络适配器”，在弹出的对话的“网络连接”项目下选择“桥接模式(B)”此举的目的在于使

主节点和各从节点都能连上网络，从而使各台机器之间能够互访。

接下来对master进行克隆，得到slave1、slave2、slave3的雏形，即点击VM菜单下的“虚拟机—管理—克隆”，进入克隆虚拟机的向导界面，根据向导提示，在“克隆类型”引导界

面选择“创建完整克隆”，具体设置如下图所示：

然后输入被克隆的虚拟机名称，先暂输入slave1，点击确认进行克隆，将克隆好的系统复

制到除master之外的三台PC节点上，用虚拟机VMware识别并将其启动，并在虚拟机启动

界面点击“虚拟机—设置—选项—常规”设置中，分别修改虚拟机名称为slave1、slave2和 slave3，如下图所示。

设置IP地址

在Hadoop平台上，各个节点之间的互访是基于TCP/IP协议的，所以要为各个节点分配IP 地址。在四个PC节点上，点击桌面右上角从左到右的第一个数据连接图标

在下拉菜单中选择最后一项“Edit Connections…”

在弹出的“Network Connections”框中选择“Edit…”，显示“Editing Ethernet connection1”框，点击“IPv4Settings”将弹出的Method选择框设置为Manual，然后添加IP地址。

添加同一网关内的IP地址、子网掩码、默认网关，目的是让各个节点机器能够互访。需要

注意的是在设置IP地址时，需要首先在DNS servers输入相应的IP地址，否则无法填写“Addresses”项内容。

因此，我们将DNS服务器（DNS servers）地址设置为：，接下来将master节点的IP地址（Address）设置为：，子网掩码(Netmask)设置为：，默认网关（Gateway）设置为：。

用同样的方法，将虚拟机salve1的IP地址设置为：（DNS服务器）；（IP地址）；（子网掩码）；（网关），将slave2的IP地址设置为：（DNS服务器）；（IP地址）；（子网掩码）；（网关），将slave3的IP地址设置为：（DNS服务器）；（IP地址）；（子网掩码）；（网关）。

修改机器名

通过克隆得到的ubuntu系统有相同的机器名，所以要修改加载在各虚拟机中的系统名称，

来区分不同的节点，以便后期操作。

在master机器上打开etc/hostname文件，命令为：

sudo gedit /etc/hostname

将etc/hostname文件内容修改为master

用同样的方法分别在刚刚克隆得到的slave1、slave2和slave3上，修改其机器名：

将slave1的机器名修改为slave1

将slave2的机器名修改为slave2

将slave3的机器名修改为slave3

修改hosts文件

通过修改hosts文件可以实现机器名和IP地址之间的映射，在master节点上，打开文件/etc/hosts，命令为：

sudo gedit /etc/hosts

将/etc/hosts文件修改为

master

slave1

slave2

slave3

用同样的方法，在slave1、 slave2和slave3机器上修改如上hosts文件，映射配置与master 一致。配置完成后重启master和slave1、 slave2和slave3使其生效。

建立SSH无密码互访

通过建立SSH无密码互访，可以实现Hadoop虚拟机集群之间的无密码登陆互访。首先在4台机器上均生成秘钥对，并将slave1、slave2和slave3分别所生成的公钥进行重命名后发

送到master机器上，由master将自身所生成的公钥与其它三台slave节点发送过来的公钥合并到一个文件中，重新分发给三台slave节点。对于不同的机器执行对应的操作如下：

（1）master生成密钥对

ssh-keygen -t rsa sh/(隐藏的文件夹)下生成两个文件id_rsa 和

（2）slave1生成密钥对，重命名公钥，并将其发送到maser

在终端terminal输入如下命令：

ssh-keygen -t rsa sh/(隐藏的文件夹)下生成两个文件id_rsa 和，并重命名公钥为，执行命令：

scp ~/.ssh/

将重命名后的文件都复制到master机，命令如下：

scp ~/.ssh/ hadoop@master:/home/hadoop/.ssh/

（3）slave2生成密钥对，重命名公钥，并将其发送到maser

slave2执行与slave1类似的命令：

ssh-keygen -t rsa sh/ hadoop@master:/home/hadoop/.ssh/

（4）slave3生成密钥对，重命名公钥，并将其发送到maser

slave3也执行与slave1类似的操作：

ssh-keygen -t rsa sh/ hadoop@master:/home/hadoop/.ssh/

（5）master合并公钥，重新分发给各slave节点

在master机器的/home/hadoop/.ssh/文件夹中重命名秘钥文件，命令如下：

mv authorized_keys

然后把每台slave机器发过来的文件合并到authorized_keys，命令如下：

cat >> authorized_keys

cat >> authorized_keys

cat >> authorized_keys

最后把合成的authorized_keys发给每台slave机器：

scp authorized_keys hadoop@slave1:/home/hadoop/.ssh/authorized_keys

scp authorized_keys hadoop@slave2:/home/hadoop/.ssh/authorized_keys

scp authorized_keys hadoop@slave3:/home/hadoop/.ssh/authorized_keys

（6）节点间无密码互访测试

在任意机器上输入命令访问另一台机器，命令如下：

ssh slave1

如果返回”Agent admitted failure to sign using the key“，不能连接到slave1，此时可输入命令：

ssh-agent

使ssh-agent处于运行状态。再将id_rsa添加到ssh-agent中，命令为：

ssh-add id_rsa

启动Hadoop

启动HDFS

（1）初始化namenode

在运行Hadoop平台之前，要在master上格式化文件系统，建立HDFS。切换至hadoop用户，进入/home/hadoop/，初始化Namenode，执行命令如下：

cd /home/hadoop/ namenode –format Storage directory /home/hadoop/hdfs/name has been successfully formatted，则说明格式化HDFS成功，初始化完成之后会自动的在/home/hdoop/创建dfs/name/目录。

（2）测试启动HDFS

在hadoop用户下，启动namenode，执行命令： start namenode；启动datanode，执行命令： start datanode。当namenode与datanode均启动之后，可使用jps命令查看进程，命令如下：

jps

当同时看到下列进程时，标明hadoop正常运行：

3588 NameNode

3692 DataNode

3757 Jps

如上述进程启动过程正常，则可启动HFS。在hadoop用户下，切换至/home/hadoop/目录下，执行命令：

cd /home/hadoop/执行脚本./，启动HDFS

在上述目录下执行脚本文件，命令为：./，使用jps命令查看进程，终端显示：

4177 SecondaryNameNode

3588 NameNode

3692 DataNode

4285 Jps

其中master产生SecondaryNameNode和NameNode进程，slave节点产生DataNode进程。启动YARN

在hadoop用户下，切换至/home/hadoop/目录下，执行命令：

cd /home/hadoop/执行脚本./，启动YARN

在terminal终端输入命令：./，执行脚本文件，使用jps命令查看master节点进程时，终

端显示：

4177 SecondaryNameNode

4660 Jps

3588 NameNode

4411 ResourceManager

3692 DataNode

其中master产生ResourceManager、NameNode和SecondaryNameNode进程，同时输入jps 命令在slave节点进行进程查看时终端显示：

3329 DataNode

3670 Jps

3484 NodeManager

可知slave节点上产生DataNode和NodeManager进程。

异常处理2：

问题：Hadoop启动发生异常，有些进程不能被启动。

解决方法：执行命令./、./ 或直接执行./ 命令关闭进程后，清空/home/hadoop/dfs和/home/hadoop/dfs文件夹中的数据，并重新执行格式化，命令如下：

rm -rf /home/hadoop/dfs/

rm -rf /home/hadoop/tmp

hdfs namenode –format

异常处理3：

问题：slave 节点 DataNode 无法启动。

解决方法：

a、系统防火墙没有关闭：执行命令sudo ufw disable关闭防火墙；

b、所有节点 hosts 链表不统一，或有错误：重新检查IP地址与机器名之间的对应关系，

检查hadoop的配置文件中是否发生IP地址的书写错误；

c、多次 format namenode 造成 namenode 和 datanode 的 clusterID 不一致：更改slave Cluster ID 使其与master 相同，修改每一个datanode 上面的CID(位于home/hadoop/dfs/data/current/VERSION 文件夹中)使两者一致；删除所有节点/home/hadoop/dfs/data/下 curren目录，重新运行脚本即可。

Hadoop平台测试

在Hadoop平台搭建完成后，我们要对Hadoop平台进行测试。在Hadoop的安装目录下，提供了一个单词统计程序—WordCount。WordCount程序运行于Hadoop计算平台之上，充分利用了MapReduce和HDFS。它可以对文件中单词出现次数进行统计，然后给出统计结果。我

们通过运行WordCount程序，可以检测Hadoop平台是否能够正常运行。

（1）在HDFS上建立相应的目录和相应的文本文件

在/home/hadoop/目录下建立文件夹input，并进入文件夹input，执行命令如下：

mkdir /home/hadoop/input

cd /home/hadoop/input

建立文件file01和file02，并分别写入要统计的内容，命令如下：

echo "hello world bye world" > file01

ar,${}/lib,${}/lib/*.jar,${}/../lib/*.jar,/usr/lib/hadoop/*.jar,/home/hadoop/

（2）配置文件

打开/home/hadoop/下的文件，在文件中检索文本“，将等号“=”后的目录修改为：

/home/hadoop/，即配置：

此处的配置文件中不能用环境变量（比如$HADOOP_HOME

），必须用全路径。

jar包的拷贝与替换

（1）拷入需要用到的Oracle的jdbc包到相关目录

由于从Oracle等数据库向HBase、HDFS等Hadoop存储系统导入数据时，需要建立Oracle 与Sqoop的连接，这就需要用到一个Oracle驱动程序 jdbc的jar包，因此将下载好的包拷贝到以下两个Sqoop文件目录下：

/home/hadoop/ 到此，正常启动。