hadoop0.20.2集群配置

搭建一个hadoop集群包括：
1个namenode
2个datanonde
1、 修改主机名及IP地址
 192.168.10.184配置
vi /etc/sysconfig/network
添加内容：
NETWORKING=yes
HOSTNAME=master
 192.168.10.185配置
vi /etc/sysconfig/network
添加内容：
NETWORKING=yes
HOSTNAME=slaves1
 192.168.10.186配置
vi /etc/sysconfig/network
添加内容：
NETWORKING=yes
HOSTNAME=slaves2
 vi /etc/hosts
要将文件的前两行注释掉 (注释当前主机的信息)并在文件中添加所有hadoop集群
的主机信息

 把hosts文件copy到其余2台服务器
scp /etc/hosts root@192.168.10.185:/etc/
 然后分别执行 /bin/hostsname hostsname
例如：master上执行 /bin/hostsname master，使之生效。
2、 配置主机间无密码ssh各服务器
 在各个主机上执行操作：
ssh-keygen -t rsa，然后一直回车
在/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub
cp id_rsa.pub authorized_keys
 先将所有authorized_keys合并
cat ~/.ssh/authorized_keys | ssh root@192.168.10.167 'cat
>> ~/.ssh/authorized_keys'
合并结果如下图：

 然后复制分发到其他服务器（若没有.ssh文件夹需要自行创建）
scp authorized_keys root@192.168.10.185:/root/.ssh/
 验证能否无密码ssh，在master服务器上执行操作：注意：第一次可能
会提示输入yes or no，之后就可以直接ssh到其他主机上去了。

3、 卸载JDK（可以不卸载）
查看系统已经装的jdk： rpm -qa|grep jdk
卸载jdk：rpm -e --nodeps java-1.6.0-openjdk-javadoc-1.6.0.0-1.66.1.13.0.el6.x86_64
4、 安装JDK（三台机器都要安装）
 安装在同一位置/opt/java/jdk1.7.0_72
 下载JDK
 解压JDK ： tar -zxvf /opt/java/jdk-7u72-linux-x64.gz
 配置环境变量：
编辑profile文件：vi /etc/profile
在profile文件末尾添加以下代码：
export JAVA_HOME=/opt/java/jdk1.7.0_72
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
使得刚才编辑的文件生效：source /etc/profile
测试是否安装成功：java –version
5、 安装hadoop
在master主机上配置hadoop
 配置的位置：/opt/hadoop/hadoop-0.20.2
 下载hadoop
 解压hadoop：tar -zxvf /opt/hadoop/hadoop-0.20.2.tar.gz
配置配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、
slaves、masters
在hadoop-0.20.2/conf目录下，具体配置如下
hadoop-env.sh文件
中加上jdk路径
export JAVA_HOME=/usr/java/jdk1.6.0_21

core-site.xml文件：
hdfs-site.xml文件：
mapred-site.xml文件：
slaves
在该文件中添加
slaves1
slaves2

masters
在该文件中添加
master

分发配置文件
将主节点上配置好的程序文件，复制到分发到各个从节点上
scp -r /root/hadoop/hadoop-2.2.0 root@dataserver1:/root/hadoop/
scp -r /root/hadoop/hadoop-2.2.0 root@dataserver2:/root/hadoop/
 配置环境变量：（所有主机）
编辑profile文件：vi /etc/profile
在profile文件末尾添加以下代码：
export HADOOP_HOME=/opt/hadoop/hadoop-0.20.2
export PATH=$PATH:$HADOOP_HOME/bin
使得刚才编辑的文件生效：source /etc/profile
 启动hadoop
进入hadoop文件夹，用如下命令格式化：
./bin/hadoop namenode -format
注意：上面只要出现“successfully formatted”就表示成功了。
 启动hadoop守护进程
./sbin/start-all.sh
 master节点

 slaves节点
 通过网站查看集群情况
在浏览器中输入： http://192.168.10.184:50070，网址为master结点
所对应的IP：
 在浏览器中输入： http://192.168.10.184:50030，网址为master结点
所对应的IP：
 停止hadoop守护进程
./sbin/stop-all.sh



1、 安装openoffice
 下载openoffice
 解压openoffice：
tar -zxvf Apache_OpenOffice_incubating_3.4.1_Linux_x86-64_install-rpm_zh-CN.tar.gz
 进入目录/opt/openoffice/zh-CN/RPMS
 运行：yum localinstall *.rpm
 soffice -headless -accept="socket,host=127.0.0.1,port=9527;urp;"-nofirststartwizard &
2、 安装swftools
 下载swf
 解压swf：
tar xf swftools-2013-04-09-1007.tar.gz
 cd swftools-2013-04-09-1007
 ./configure
 make
 make install
 mkfontscale
 mkfontdir
 fc-cache
 fc-cache -f –v