Centos7安装和配置hadoop2.7.3的流程和总结

CentOS7安装完整流程及总结

一、前言

配置一台master服务器，两台（或多台）slave服务器，master 可以无密码SSH登录到slave。卸载centos7自带的openjdk,通过SecureCRT的rz命令上传文件到服务器,解压安装JDK，解压安装Hadoop，配置hadoop的、、、文件。配置好之后启动hadoope服务，用jps命令查看状态。再运行hadoop自带的wordcount程序做一个Hello World实例。

二、准备工作

我的系统：

windows 10 家庭普通中文版

cpu:intel i5

内存：8G

64位操作系统

需要准备的软件和文件（全部是64位安装包）

1.虚拟机：VMware 12 Pro 官网下载：选择DVD ISO(标准版) 及

以上，官网下载：下载地址：

version 三、安装过程

提示：先创建一台虚拟机,安装好centos7系统，使用VMware 的克隆功能，克隆另外两台虚拟机。这样可以节省时间。

虚拟机设置

（根当三台虚拟机安装好之后，获得它们的IP地址,并设置主机名，据实际IP地址和主机名）修改/etc/hosts文件内容为：

1、vi /etc/hosts命令修改，然后保存（vi的相关命令见引用来

源16）

2、more /etc/hosts查看

3、重启后，hosts生效。命令： reboot now

SSH免密码登录

提示：我全程用的都是root用户，没有另外创建用户。每台服务器都生成公钥，再合并到authorized_keys。

1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config

其中2行的注释，每台服务器都要设置，

2)#RSAAuthentication yes

3)#PubkeyAuthentication yes

4)输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直

回车，/root就会生成.ssh文件夹，每台服务器都要设置，

5)合并公钥到authorized_keys文件，在master服务器，进入

/root/.ssh目录，通过SSH命令合并，（~/.ssh/ 是省略的写法，要根据实际路径来确定）

6)cat >> authorized_keys

7)ssh cat ~/.ssh/ >> authorized_keys

8)ssh. cat ~/.ssh/ >> authorized_keys

9)把master服务器的authorized_keys、known_hosts复制到slave

服务器的/root/.ssh目录

scp -r /root/.ssh/authorized_keys:/root/.ssh/

scp -r /root/.ssh/known_hosts:/root/.ssh/

scp -r /root/.ssh/authorized_keys:/root/.ssh/

scp -r /root/.ssh/known_hosts:/root/.ssh/

10)完成后，ssh、ssh或者(ssh、ssh ) 就不需要输入密码直接登录

到其他节点上。

Secure CRT连接虚拟机

1、在VMware中把三台虚拟机启动，如下图所示：

2、打开SecureCRT,在一个session里连接三台虚拟机，就可以登录实现操作。

Fiel->Quick Connection

Protocol:ssh2 前提条件是在中实现了ssh免密码登录Hostname: 连接的主机名

Username: root 连接主机的用户名

Connect

依次连接好三台虚拟机

3、结果如下：

4、上传windows系统中的文件到虚拟机中

定位到要上传文件的目录下，输入命令：rz，回车后，弹出文件选择窗口，选择文件，点击add,再OK。文件就上传到当前服务器的当前目录下。

rz命令如果没有安装，使用这个命令安装：yum install lrzsz

安装JDK

需要JDK7，由于我的CentOS自带了OpenJDK，所以要先卸载，然后解压下载的JDK并配置变量即可。

1)在/home目录下创建java目录，然后使用rz命令，上传“”到

/home/java目录下，

2)解压，输入命令，tar -zxvf

3)编辑/etc/profile

4)使配置生效，输入命令，source /etc/profile

5)输入命令，java -version，完成

安装

提要

1)secureCRT 上传“，放到/home/hadoop目录下

2)只在master服务器解压，再复制到slave服务器（scp命令传输）

3)解压，输入命令，tar -xzvf 在/home/hadoop目录下创建数据存

放的文件夹，tmp、dfs、dfs/data、dfs/name（文件中会用到）配置文件

1、/home/hadoop/目录下的

/home/hadoop/tmp

131702

2、配置/home/hadoop/目录下的