实验文档1-部署Hadoop
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Hadoop大数据技术实验资料airyqin
Hadoop大数据管理与分析处理平台
部署实验手册
CentOS 6集群下部署Hadoop
(Airy qin)
Hadoop大数据实验实战资料（请勿在互联网上传播）启动两台虚拟客户机：
打开VMware Workstation10
打开之前已经安装好的虚拟机：HadoopMaster和HadoopSlave
出现异常，选择“否”进入
Hadoop大数据实验实战资料（请勿在互联网上传播）
如果之前没有打开过两个虚拟机，请使用“文件”->“打开”选项，选择之前的虚拟机安装包（在一体软件包里面的）
第1步 Linux系统配置
以下操作步骤需要在HadoopMaster和HadoopSlave节点上分别完整操作，都使用root用户，从当前用户切换root用户的命令如下：
su root
输入密码：zkpk
Hadoop大数据实验实战资料（请勿在互联网上传播）
本节所有的命令操作都在终端环境，打开终端的过程如下图的Terminal菜单：
终端打开后如下图中命令行窗口所示。
1.拷贝软件包和数据包
将完整软件包“H adoop In Action Experiment”下的software包和sogou-data整体拖拽到HadoopMaster 节点的桌面上，并且在终端中执行下面的移动文件命令：
mv ~/Desktop/software ~/
Hadoop大数据实验实战资料（请勿在互联网上传播）mv ~/Desktop/sogou-data ~/
1.1配置时钟同步
1.1.1 配置自动时钟同步
使用Linux命令配置
crontab -e
键入下面的一行代码：
输入i，进入插入模式
0 1 * * * /usr/sbin/ntpdate
1.1.2 手动同步时间
/usr/sbin/ntpdate
1.2配置主机名
1.2.1 HadoopMaster节点
使用gedit 编辑主机名
gedit /etc/sysconfig/network
配置信息如下，如果已经存在则不修改，将HadoopMaster节点的主机名改为master，即下面代码的第3行所示。
NETWORKING=yes #启动网络
NETWORKING_IPV6=no
HOSTNAME=master #主机名
确实修改生效命令：
hostname master
检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端：
hostname
执行完命令，会看到下图的打印输入：
Hadoop 大数据实验实战资料（请勿在互联网上传播）
1.2.2 HadoopSlave 节点
使用gedit 编辑主机名
配置信息如下，如果已经存在则不修改，将Hadoopslave 节点的主机名改为slave ，即下面代码的第3行所示。
确实修改生效命令：
检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端：
执行完命令，会看到下图的打印输入：
1.3 使用setup 命令配置网络环境
在终端中执行下面的命令：
如果看到下面的打印输出
gedit /etc/sysconfig/network
NETWORKING=yes #启动网络 NETWORKING_IPV6=no HOSTNAME=slave #主机名 hostname slave hostname
ifconfig
Hadoop大数据实验实战资料（请勿在互联网上传播）
如果看到出现红线标注部分出现，即存在内网IP、广播地址、子网掩码，说明该节点不需要配置网络，否则进行下面的步骤。
在终端中执行下面命令：
setup
会出现下图中的内容：
使用光标键移动选择“Network configuration”，回车进入该项
Hadoop 大数据实验实战资料（请勿在互联网上传播）
使用光标键移动选择eth0，回车进入该项
按照图中的方式输入各项内容
重启网络服务
检查是否修改成功：
看到如下图的内容（IP 不一定和下图相同，根据你之前的配置），说明配置成功，特别关注红线部分
/sbin/service network restart ifconfig
Hadoop大数据实验实战资料（请勿在互联网上传播）
1.4关闭防火墙
在终端中执行下面命令：
setup
会出现下图中的内容：
光标移动选择“Firewall configuration”选项，回车进入选项
如果该项前面有“*”标，则按一下空格键关闭防火墙，如下图所示，然后光标移动选择“OK”保存修改内容
Hadoop大数据实验实战资料（请勿在互联网上传播）
OK
选择
编辑主机名列表的命令：
gedit /etc/hosts
将下面两行添加到/etc/hosts文件中
192.168.1.100 master
192.168.1.101 slave
注意：这里master节点对应IP地址是192.168.1.100，slave对应的IP是192.168.1.101，而自己在做配置时，需要将这两个IP地址改为你的master和slave对应的IP地址。
查看master的IP地址使用下面的命令：
ifconfig
master节点的IP是下图中红线标注的内容。
slave的IP地址也是这样查看。
验证是否配置成功的命令是：
ping master
ping slave
如果出现下图的信息表示配置成功：
如果出现下图的内容，表示配置失败：