Hadoop伪分布搭建

5、验证jdk安装是否成功 java -version
免密码ssh登陆设置
1、进入.ssh文件夹(即当前用户主目录/home/hadoop，.ssh是 隐藏的可以使用ls -a查看)
2、使用命令ssh-keygen -t rsa，由于不设置密码，所以就一直 回车就行（产生密钥）。 3、如果是root用户，默认生成文件在/root/.ssh中，进入该目录 中，使用命令cat id_rsa.put>>authorized_keys 把id_rsa.pub 追加到授权的 key 里面。
Hadoop 2.2.0 安装
2014年9月4号
Hadoop的运行方式
Hadoop运行方式分为三种，单机模式、伪分布式、 完全分布式
●单机模式：Hadoop无需配置，这种方式下，Hadoop被认为是一个单独的
java进程，该模式主要用于开发调试MapReduce程序的应用逻辑。
●伪分布式：看做只有一个节点的集群，在这个集群中，这个节点既是
4、重启ssh服务使其生效：service sshd restart 测试： 使用命令 ssh name，若不需要密码，则设置成功。
下载hadoop2.2.0并安装
1、下载地址为： /hadoop/common/hadoop-2.2.0/， 下载hadoop-2.2.0.tar.gz这个包，放在/usr目录下，使 用命令 tar -zxvf hadoop-2.2.0.tar.gz 解压即可。
如下为运行过程：
查看运行结果！
可能出现的问题
用缺省的32位native库(/usr/hadoop-2.2.0/lib/native)会出现下面的错误:
14/01/27 10:52:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/hadoop-2.2.0/lib/native/libhadoop.so which might have disabled stack guard. The VM will try to fix the stack guard now. It's highly recommended that you fix the library with 'execstack -c ', or link it with '-z noexecstack'
2、配置HADOOP_HOME的环境变量 与JAVA_HOME类似，在/etc/profile最后添加 export HADOOP_HOME=/usr/hadoop-2.2.0
修改hadoop配置文件
修改的配置文件，在/usr/hadoop-2.2.0/etc/hadoop目录下， 跳转到该目录下，修改core-site.xml、hdfs-site.xml、mapred-site.xml、 yarn-site.xml 这四个配置文件。
主要是对namenode 和 datanode 存储路径的设置。
修改hadoop配置文件
3、vi mapred-site.xml
<configuration> <property> <name></name> <value>yarn</value> </property> <!-<property> <name>mapred.job.tracker</name> <value>http://127.0.0.1:9001</value> </property>--> </configuration>
2、vi hdfs-site.xml
<configuration> <property> <name>.dir</name> <value>/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/data/datanode</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
Hadoop伪分布搭建步骤
一、环境准备 1、安装虚拟机，操作系统为RedHat企业版，64位 2、修改 hostname(可选) 3、安装JDK，须为64位，与操作系统相匹配，本次使用 jdk- 7u65-linux-x64.rpm 4、配置JAVA_HOME 在/etc/profile文件中添加 export JAVA_HOME=/*/java/jdk1.7.0_65等 5、使用命令java -version测试jdk安装是否成功。 二、免密码ssh登陆设置（可选） 三、下载hadoop2.2.0并解压安装 四、修改配置文件 1、core-site.xml 2、hdfs-site.xml 3、mapred-site.xml 4、yarn-site.xml 五、启动hadoop 六、测试运行
要想进一步了解Hadoop的最新情况，可登陆：
/
首先需要在hadoop-env.sh和yarn-env.sh这两个文件中添加: JAVA_HOME=/usr/java/jdk1.7.0_65
修改hadoop配置文件
1、vi core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property>
启动hadoop
命令在/usr/hadoop-2.2.0/bin下，启动文件在/usr/hadoop-2.2.0/sbin下 1、格式化namenode bin/hdfs namenode -format 2、启动sbin/start-dfs.sh 3、启动sbin/start-yarn.sh (也可用sbin/start-all.sh同时启动所有) 4、jps 查看进程（一般为五个） 4312 NameNode 4756 ResourceManager 4428 DataNode 4855 NodeManager 4576 SecondaryNameNode 5、如果没有单独配置yarn-site.xml中的yarn.resourcemanager.webapp.address， 默认的端口8088 访问http://127.0.0.1:8088/ 可以访问hadoop管理页面. 如果没有单独配置 hdfs-site.xml中的node.http-address,默认端口 50070，http://127.0.0.1:50070 可以访问namenode节点信息。
<property> <name>hadoop.tmp.dir</name> <value>/data/hadoop/tmp</value> </property> </configuration>
添加hdfs的指定URL路径，由于是伪分布模式，可为真实ip、 localhost。
修改hadoop配置文件
修改hadoop配置文件
4、vi yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
在/etc/profile中添加：
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib .preferIPv4Stack=true"
将下载好的JDK复制到安装目录下，本次为/usr 使用命令~$rpm -ivh jdk-7u65-linux-x64.rpm解压安装，默认安装好的路径为 /usr/java/jdk1.7.0_65，即JAVA_HOME
4、配置JAVA_HOME 在/etc/profile文件中添加：(vi /etc/profile打开) export JAVA_HOME= /usr/java/jdk1.7.0_45 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$PATH 使用命令source /etc/profile使变更生效。