hadoopq集群搭建
疑难小结
1：HDFS进入安全模式: Name node is in safemode mode
退出安全模式, 执行命令: hadoop dfsadmin -safemode leave
2：INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable -- hadoop的本地库加载失败。
检查native库的版本信息，32bit的版本和64bit的版本在不匹配的机器上会加载失败，检查的命令是file
native库依赖的glibc的版本问题。如果在高版本gcc（glibc）的机器上编译的native库，放到低版本的机器上使用，会由于glibc版本不一致导致该错误。
3：
maps to localhost, but this does not map back
解决：
原因: 因为DNS服务器把 192.168.x.x 的地址都反向解析成 localhost ，而DNS服务器不是自己的，不能改。
办法: 编辑ssh 客户端的 /etc/hosts 文件，把出问题的IP 地址和主机名加进去，就不会报这样的错了。
4：
jps命令正常，但是8088端口的WEB页面无法访问
解决方案：
检查一下防火墙和selinux状态, 将防火墙和selinux关闭
防火墙:
service iptables status
永久修改：
修改/etc/selinux/config文件中设置SELINUX=disabled ，然后重启服务器。
5：
8088端口访问正常，但是看不到datanode节点
解决方案：
可能出现的问题和解决方案:
1.8080端口没有打开, 手动启动yarn
2.8080端口被其他进程占用, kill掉占用该端口的进程, 然后重启yarn
过程：
1 先决条件
确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK ，ssh，Hadoop
JavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。
ssh 必须安装并且保证sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。
2 实验环境搭建
2.1 准备工作
操作系统：Ubuntu
部署：Vmvare
在vmvare安装好一台Ubuntu虚拟机后，可以导出或者克隆出另外两台虚拟机。
说明：
保证虚拟机的ip和主机的ip在同一个ip段，这样几个虚拟机和主机之间可以相互通信。
为了保证虚拟机的ip和主机的ip在同一个ip段，虚拟机连接设置为桥连。
准备机器：一台master，若干台slave，配置每台机器的/etc/hosts保证各台机器之间通过机器名可以互访。
为保证环境一致先安装好JDK和ssh：
2.2 安装JDK
#安装JDK
$ sudo apt-get install sun-java6-jdk1.2.3
这个安装，java执行文件自动添加到/usr/bin/目录。
验证shell命令：java -version 看是否与你的版本号一致。
2.3下载、创建用户
$ useradd hadoop
$ cd /home/hadoop
在所有的机器上都建立相同的目录，也可以就建立相同的用户，最好是以该用户的home路径来做hadoop的安装路径。
例如在所有的机器上的安装路径都是：/home/hadoop/hadoop-0.20.203，这个不需要mkdir，在/home/hadoop/下解压hadoop包的时候，会自动生成）
（当然可以安装/usr/local/目录下，例如/usr/local/hadoop-0.20.203/
chown -R hadoop /usr/local/hadoop-0.20.203/
chgrp -R hadoop /usr/local/hadoop-0.20.203/
）
(最好不要使用root安装,因为不推荐各个机器之间使用root访问)
2.4 安装ssh和配置
1）安装：sudo apt-get install ssh
这个安装完后，可以直接使用ssh命令了。
执行$ netstat -nat 查看22端口是否开启了。
测试：ssh localhost。
输入当前用户的密码，回车就ok了。说明安装成功，同时ssh登录需要密码。
（这种默认安装方式完后，默认配置文件是在/etc/ssh/目录下。sshd配置文件是：/etc/ssh/sshd_config）：
注意：在所有机子都需要安装ssh。
2）配置：
3) 首先设置namenode的ssh为无需密码的、自动登录。
切换到hadoop用户( 保证用户hadoop可以无需密码登录，因为我们后面安装的hadoop属主是hadoop用户。)
$ su hadoop
cd /home/hadoop
$ ssh-keygen -t rsa
然后一直按回车
完成后，在home跟目录下会产生隐藏文件夹.ssh
测试：
$ssh localhost
发现链接成功，并且无需密码。
4 ) 复制authorized_keys到node2 和node3 上
为了保证node1可以无需密码自动登录到node2和node3，先在node2和node3上执行
$ su hadoop
cd /home/hadoop
$ ssh-keygen -t rsa
然后回到node1，复制authorized_keys到node2 和node3
[hadoop@hadoop .ssh]$ scp authorized_keys node2:/home/hadoop/.ssh/
[hadoop@hadoop .ssh]$ scp authorized_keys node3:/home/hadoop/.ssh/
这里会提示输入密码,输入hadoop账号密码就可以了。
改动你的authorized_keys 文件的许可权限
[hadoop@hadoop .ssh]$chmod 644 authorized_keys
测试：ssh node2或者ssh node3（第一次需要输入yes）。
如果不须要输入密码则配置成功，如果还须要请检查上面的配置能不能正确。
2.5 安装Hadoop
#切换为hadoop用户
su hadoop
wgethttps://www.360docs.net/doc/6b18759494.html,//hadoop/common/hadoop-0.20.203.0/hadoop-0.20.203.0rc1. tar.gz
下载安装包后，直接解压安装即可：
$ tar -zxvfhadoop-0.20.203.0rc1.tar.gz
6）配置conf/hadoop-env.sh文件
配置conf/hadoop-env.sh文件
#添加export JAVA_HOME=/usr/lib/jvm/java-6-sun/
这里修改为你的jdk的安装位置。
测试hadoop安装：bin/hadoop jar hadoop-0.20.2-examples.jarwordcount conf/ /tmp/out
3. 集群配置（所有节点相同）
3.1配置文件：conf/core-site.xml
1）https://www.360docs.net/doc/6b18759494.html,是NameNode的URI。hdfs://主机名:端口/
2）hadoop.tmp.dir ：Hadoop的默认临时路径，这个最好配置，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令。
3.2配置masters和slaves主从结点
配置conf/masters和conf/slaves来设置主从结点，注意最好使用主机名，并且保证机器之间通过主机名可以互相访问，每个主机名一行。
4 .hadoop启动
4.1 格式化一个新的分布式文件系统
先格式化一个新的分布式文件系统
$ cd hadoop-0.20.203
$ bin/hadoop namenode -format
查看输出保证分布式文件系统格式化成功
执行完后可以到master机器上看到/home/hadoop//name1和/home/hadoop//name2两个目录。在主节点master上面启动hadoop，主节点会启动所有从节点的hadoop。
4.2 启动所有节点
启动方式1：
$ bin/start-all.sh （同时启动HDFS和Map/Reduce）
执行完后可以到slave（node1，node2）机器上看到/home/hadoop/hadoopfs/data1和/home/hadoop/data2两个目录。
5 .测试
1）浏览NameNode和JobTracker的网络接口，它们的地址默认为：
NameNode - http://node1:50070/
JobTracker - http://node2:50030/
3）使用netstat –nat查看端口49000和49001是否正在使用。
4）使用jps查看进程
要想检查守护进程是否正在运行，可以使用jps 命令（这是用于JVM 进程的ps 实用程序）。这个命令列出5 个守护进程及其进程标识符。
5）将输入文件拷贝到分布式文件系统：
$ bin/hadoop fs -mkdir input
$ bin/hadoop fs -put conf/core-site.xml input
运行发行版提供的示例程序：
$ bin/hadoop jar hadoop-0.20.2-examples.jar grep input output 'dfs[a-z.]+'
6.
查看输出文件：
将输出文件从分布式文件系统拷贝到本地文件系统查看：
$ bin/hadoop fs -get output output
$ cat output/*
7.添加节点
可扩展性是HDFS的一个重要特性，首先在新加的节点上安装hadoop，然后修改$HADOOP_HOME/conf/master文件，加入NameNode主机名，然后在NameNode节点上修改$HADOOP_HOME/conf/slaves文件，加入新加节点主机名，再建立到新加节点无密码的SSH 连接
运行启动命令：
start-all.sh
然后可以通过http://(Masternode的主机名):50070查看新添加的DataNode
1：环境：Ubuntu 14.04 64位
2：准备工作：
选定一台机器作为Master
在Master 节点上配置hadoop 用户、安装SSH server、安装Java 环境
在Master 节点上安装Hadoop，并完成配置
在其他Slave 节点上配置hadoop 用户、安装SSH server、安装Java 环境
将Master 节点上的/usr/local/hadoop 目录复制到其他Slave 节点上
在Master 节点上开启Hadoop
3：网络配置：
需要更改网络连接方式为桥接（Bridge）模式，才能实现多个节点互连，例如在VirturalBox 中的设置如下图。此外，如果节点的系统是在虚拟机中直接复制的，要确保各个节点的Mac 地址不同（可以点右边的按钮随机生成MAC 地址，否则IP 会冲突）
4:SSH无密码登陆节点：
这个操作是要让Master 节点可以无密码SSH 登陆到各个Slave 节点上。
5：配制path变量：
在单机伪分布式配置教程的最后，说到可以将Hadoop 安装目录加入PATH 变量中，这样就可以在任意目录中直接使用hadoo、hdfs 等命令了，如果还没有配置的，需要在Master 节点上进行配置。首先执行vim ~/.bashrc，加入一行。
6：配置集群/分布式环境：