hadoop安装

Impala安装——Hadoop安装

1.安装jdk

下载jdk安装文件，注意版本（请根据自己系统选择正确版本jdk，建议使用64位jdk1.6以上版本），这里以jdk-6u45-linux-x64.bin为例：

1)创建java安装路径（/usr/local/java）：

2)将jdk-6u45-linux-x64.bin拷贝到/usr/local/java下面，修改权限，并开始安装：

3)修改配置文件，并使之生效：

4)现在可以在控制台窗口下面，键入查看jdk版本，正确安装的话将会像是jdk版本：

5)至此，jdk安装成功。如果配置没有生效的话，建议重启。

2.配置ssh服务

Hadoop在运行过程中，会远程调用其他机器上的命令，因此要求集群机器之间实现免密码登陆，因此我们需要配置ssh。

1)假设hadoop集群由三台机器构成，分别IP是：192.168.1.101、192.168.1.102、

192.168.1.103。其中我们以101为namenode和master，修改本机hostname和/etc/hosts，方便用户访问（以101为例），内容如下：

2)建议永久关闭防火墙，并重启系统，命令如下：

3)开始配置ssh服务，在hadoop1机器上，运行以下命令生成公私钥：

4)将公钥添加到认证文件中：

5)修改sshd配置服务，修改内容如下：

6)重启sshd服务，命令如下：

自此，可以实现本地的免密钥登陆。为实现本机可以实现免密钥登陆其他机器，可以将本机的公钥（id_rsa.pub）远程复制到其他机器（使用scp命令），并将该公钥添加到远程机器的相同位置的authorized_keys里，即可实现当前机器免密钥登陆到远程机器(如果无法实现无密码访问，请查看authorized_keys文件的权限600)。

重复上述修改hostname、/etc/hosts、防火墙、ssh的过程，即可实现机器之间两两免密钥登陆的目的。修改完成后，打开sshd服务，进行测试：

3.配置hadoop集群

下载Cloudera的hadoop发行版本CDH（本人当前使用的是4.4，推荐使用tar包安装，采用yum安装的话，会导致配置文件过于分散，不方便配置）。将tar解压到/opt目录下，

并将其名称修改为hadoop，同时将其所有者更改为hadoop（本文以假设为本机创建hadoop 用户，如果没有的话，建议创建，方便hadoop使用）：

修改hadoop的配置文件，hadoop2.0的配置文件放置在hadoop/etc/hadoop里面，修改的内容包括：hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves。

1)修改hadoop-env.sh

2)修改core-site.xml

3)修改hdfs.xml

4)修改mapred-site.xml

5)修改yarn-site.xml

6)修改yarn-env.sh

7)修改slaves

8)修改系统配置文件/etc/profile

使配置文件生效

9)因为hadoop数据默认的存储路径是/tmp，该路径下的数据在系统重启后会丢失，因此

前面的配置已经将该路径修改为/opt/hadoop/tmp，因此在/opt/hadoop下创建tmp目录。

为防止权限问题（hadoop集群默认由hadoop用户启动），将/opt/hadoop的所有者变更为hadoop用户：

自此，当前节点hadoop配置完毕，其他节点依照此配置进行相应配置（相关配置文件可以互相拷贝）。

配置完毕以后，配置可以尝试启动（检查下防火墙是否关闭，否则会报错）：

注意：以上配置都是本人的默认配置，其中个性化配置的时候，其他用户可以依据个人的需要进行相关配置。