Centos7安装和配置hadoop2.7.3的流程和总结

CentOS7安装完整流程及总结一、前言配置一台master服务器，两台（或多台）slave服务器，master可以无密码SSH登录到slave。

卸载centos7自带的openjdk,通过SecureCRT的rz命令上传文件到服务器,解压安装JDK，解压安装Hadoop，配置hadoop的、、、文件。

配置好之后启动hadoope服务，用jps命令查看状态。

再运行hadoop自带的wordcount程序做一个Hello World实例。

二、准备工作我的系统：windows 10 家庭普通中文版cpu:intel i5内存：8G《64位操作系统需要准备的软件和文件（全部是64位安装包）1.虚拟机：VMware 12 Pro 官网下载：选择DVD ISO(标准版) 及以上，官网下载：下载地址：version 三、安装过程提示：先创建一台虚拟机,安装好centos7系统，使用VMware 的克隆功能，克隆另外两台虚拟机。

这样可以节省时间。

虚拟机设置当三台虚拟机安装好之后，获得它们的IP地址,并设置主机名，（根据实际IP地址和主机名）修改/etc/hosts文件内容为：^1、vi /etc/hosts命令修改，然后保存（vi的相关命令见引用来源16）2、more /etc/hosts查看3、重启后，hosts生效。

命令： reboot now[SSH免密码登录提示：我全程用的都是root用户，没有另外创建用户。

每台服务器都生成公钥，再合并到authorized_keys。

1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，2)#RSAAuthentication yes3)#PubkeyAuthentication yes4)输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置，5)合并公钥到authorized_keys文件，在master服务器，进入/root/.ssh目录，通过SSH命令合并，（~/.ssh/ 是省略的写法，要根据实际路径来确定）6)cat >> authorized_keys7)ssh root@ cat ~/.ssh/ >> authorized_keys8)ssh. cat ~/.ssh/ >> authorized_keys9)把master服务器的authorized_keys、known_hosts复制到slave服务器的/root/.ssh目录scp -r /root/.ssh/authorized_keys root@:/root/.ssh/scp -r /root/.ssh/known_hosts root@:/root/.ssh/《scp -r /root/.ssh/authorized_keys root@:/root/.ssh/scp -r /root/.ssh/known_hosts root@:/root/.ssh/10)完成后，ssh root@、ssh root@或者(ssh 、ssh ) 就不需要输入密码直接登录到其他节点上。

Secure CRT连接虚拟机1、在VMware中把三台虚拟机启动，如下图所示：，2、打开SecureCRT,在一个session里连接三台虚拟机，就可以登录实现操作。

Fiel->Quick ConnectionProtocol:ssh2 前提条件是在中实现了ssh免密码登录Hostname: 连接的主机名Username: root 连接主机的用户名Connect依次连接好三台虚拟机<3、结果如下：4、上传windows系统中的文件到虚拟机中定位到要上传文件的目录下，输入命令：rz，回车后，弹出文件选择窗口，选择文件，点击add,再OK。

文件就上传到当前服务器的当前目录下。

rz命令如果没有安装，使用这个命令安装：yum install lrzsz安装JDK需要JDK7，由于我的CentOS自带了OpenJDK，所以要先卸载，然后解压下载的JDK并配置变量即可。

1)在/home目录下创建java目录，然后使用rz命令，上传“”到/home/java目录下，2)、3)解压，输入命令，tar -zxvf4)编辑/etc/profile—5)使配置生效，输入命令，source /etc/profile6)输入命令，java -version，完成安装提要1)secureCRT 上传“，放到/home/hadoop目录下2);3)只在master服务器解压，再复制到slave服务器（scp命令传输）4)解压，输入命令，tar -xzvf 在/home/hadoop目录下创建数据存放的文件夹，tmp、dfs、dfs/data、dfs/name（文件中会用到）配置文件1、/home/hadoop/目录下的<configuration><property><name><value></property><property><name><value> /home/hadoop/tmp</value> </property><property><name><value>131702</value></property></configuration>2、配置/home/hadoop/目录下的<configuration><property><name><value></property><property><name><value></property><property><name></name><value>1</value></property><property><name><value>:50090</value></property><property><name><value>true</value></property></configuration>3、配置/home/hadoop/目录下的~<configuration><property><name> <value>yarn</value><final>true</final></property><property><name> <value>:50030</value></property>,<property><name> <value>:10020</value></property><property><name> <value>:19888</value></property><property><name> <value>:9001</value>$</property></configuration>4、配置/home/hadoop/目录下的<configuration><property><name> <value>mapreduce_shuffle</value></property><property> <name> <value> </property> (<property><name> <value>:8032</value></property><property><name> <value>:8030</value></property><property><name> <value>:8031</value>^</property><property><name> <value>:8033</value></property><property><name> <value>:8088</value></property><property>[<name> <value></value></property><property><name> <value>2048</value></property></configuration>提示：的值一定要注意，在最后的hello world程序运行时，会提示内存太小，（hadoop运行到: Running job后停止运行）我把它从1024改成了20485、配置/home/hadoop/目录下、的JAVA_HOME·取消注释，设置为export JAVA_HOME=/home/java/、配置/home/hadoop/目录下的slaves，删除默认的localhost，增加2个slave节点:7、将master服务器上配置好的Hadoop复制到各个节点对应位置上，通过scp 传送scp -r /home/hadoop :/home/scp -r /home/hadoop :/home/启动hadoop提示：在master服务器启动hadoop，各从节点会自动启动，进入/home/hadoop/目录，hadoop的启动和停止都在master服务器上执行。

1)初始化，在目录下输入命令，bin/hdfs namenode –format2)?3)启动命令sbin/sbin/4)输入命令，jps，可以看到相关信息master上看到slave上{5)停止命令，依次执行：sbin/、sbin/至此，hadoop配置完成了。