hadoop-2.4.0安装配置

一．安装JDK(安装包: jdk-7u51-linux-i586)
1.转到下载路径，对下载后的文件解压缩，比如我的下载路径为/usr/lib/jvm
cd /usr/lib/jvm
sudo tar zxvf jdk-7u51-linux-i586
2.将解压出的文件拷贝到/usr/lib/jvm中，比如我解压出的文件夹为jdk1.7.0_51
sudo cp –r jdk1.7.0_51 /usr/lib/jvm
3.修改环境变量
gedit ~/.bashrc
在最下面添加下面几行
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51
保存退出，输入：
source ~/.bashrc
4. 配置profile文件
sudo gedit /etc/profile
在文件末尾加入以下内容，保存
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JRE_HOME/lib:$JAVA_HOME/lib:.
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
关闭后执行以下指令使环境变量生效
source /etc/profile

二．创建hadoop用户组
1.创建hadoop用户组
sudo addgroup hadoop
3 .为hadoop用户添加权限
sudo gedit /etc/sudoers
给hadoop用户赋予和root同样的权限
用hadoop用户登陆ubuntu系统
三．安装SSH
sudo apt-get install openssh-server

sudo /etc/init.d/ssh start
查看服务是否正确启动：ps –e | grep ssh
设置免密码登陆，生成私钥和公钥
ssh-keygen –t rsa –P “”

此时会在／home／hadoop/.ssh下生成两个文件：id_rsa和id_rsa.pub，前者为私钥，
后者为公钥。

下面我们将公钥追加到authorized_keys中，它用户保存所有允许以当前用户身份登录
到ssh客户端用户的公钥内容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

登录ssh
ssh localhost
退出
exit
四．安装hadoop（hadoop-2.4.0.tar.gz）

1.转到下载路径，对下载后的文件解压缩，比如我的下载路径为/usr/hadoop
cd /usr/hadoop
sudo tar zxvf hadoop-2.4.0.tar.gz
将解压出的文件拷贝到/usr/lib/jvm中，比如我解压出的文件夹为jdk1.7.0_51
sudo cp –r jdk1.7.0_51 /usr/lib/jvm

2.配置hadoop
1）配置.bashrc文件
sudo gedit ~/.bashrc
文件末尾加如下内容，保存，关闭
执行如下命令：
source ~/.bashrc
2）配置profile文件
sudo gedit /etc/profile
在文件末尾加入以下内容，保存
export HADOOP_PREFIX=/usr/hadoop/hadoop-2.4.0
关闭后执行以下指令使环境变量生效
source /etc/profile
3.以下配置文件在/usr/hadoop/hadoop-2.4.0/etc/hadoop中
1） 配置hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX/lib}
export HADOOP_OPTS=”-Djava.library.path=$HADOOP_PREFIX/lib”
2）配置core-site.xml


fs.default.name
hdfs://localhost:8020


fs.namenode.name.dir
/usr/hadoop/hadoop-2.4.0/dfs/name


fs.datanode.data.dir
/usr/hadoop/hadoop-2.4.0/dfs/data


3) 配置hdfs-site.xml


fs.default.name
hdfs://localhost:8020


fs.namenode.name.dir
/usr/hadoop/hadoop-2.4.0/dfs/name


fs.datanode.data.dir
/usr/hadoop/hadoop-2.4.0/dfs/data


4) 配置mapred-site.xml(如果没有mapred-site.xml，复制mapred-site.xml.template
为mapred-site.xml)

mapreduce.framework.name
yarn


5) 配置 yarn-site.xml


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.resourcemanager.address
localhost:18040


yarn. resourcemanager.scheduleraddress
localhost:18030


yarn. resourcemanager.webapp.address
localhost:18088


yarn. resourcemanager.resource-tracker.address
localhost:18025


4. 格式化hdfs,初次运行hadoop必须要有该操作
cd /usr/hadoop/hadoop-2.4.0
bin/hadoop namenode –format
5.打开hadoop
sbin/start-all.sh
等待启动完毕。。。输入指令jps,出现以下五个进程说明hadoop配置完毕
SecondaryNameNode,DataNode,ResourceManager,NodeManager,NodeManager,Na
menode