分布并行计算技术

Hadoop部署

所需要的软件

使用VMwareWorkstationPro搭建虚拟机，安装操作系统 Ubuntu14.04。

JDK1.8

Hadoop2.6.0

1.在Ubuntu中安装JDK

将JDK解压缩到 /home/kluas/java

在~/.bash_profile中配置环境变量，并通过source~/.bash_profile生效。

#java

export JAVA_HOME=/home/kluas/java/jdk

export JRE_HOME=/home/kluas/java/jdk/jre

export PATH=$JAVA_HOME/bin;$JRE_HOME/bin:$PATH

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

检验JDK是否安装成功 java –version

2.配置ssh信任关系，实现无密码登录

生成机器A的公私密钥对：ssh-keygen -t rsa，之后一路回车。在~/.ssh 目录下生成公钥id_rsa.pub，私钥id_ras。

拷贝机器A的id_rsa.pub到机器B的认证文件中：

cat id_rsa.pub >> ~/.ssh/authorized_keys

这时候机器A到机器B的信任关系就建立好了，此时在机器A可以不需要密码直接ssh登录机器B了

3.安装Hadoop2.6.0

解压hadoop软件包，编辑/etc/profile文件，并追加

export HADOOP_HOME=/usr/kluas/Hadoop

export PATH=HADOOP_HOME/bin:$PATH

运行 source /etc/profile命令

修改配置文件hadoop目录etc/Hadoop/Hadoop-env.sh追加：

export JAVA_HOME=/home/kluas/java/jdk

修改配置文件hadoop目录下etc/Hadoop/core-site.xml追加：

fs.defaultFS

hdfs://master

hadoop.tmp.dir

/home/tmp/hadoop

修改配置文件hadoop目录下etc/Hadoop/hdfs-site.xml追加：

dfs.datanode.data.dir

file:///home/hadoop/hdfs/datanode

.dir

file:///home/hadoop/hdfs/namenode

.checkpoint.dir

file:///home/hadoop/hdfs/namesecondary

dfs.replication

2

修改配置文件hadoop目录下etc/Hadoop/yarn-site.xml追加:

yarn.nodemanger.aux-services

mapreduce_shuffle

yarn.resourcemanger.hostname

master

修改配置文件hadoop目录下etc/Hadoop/mapred-site.xml追加:

yarn

mapreduce.jobtracker.staging.root.dir

/home

mapreduce.jobhistory.webapp.address

master:19888

编辑hadoop目录下etc/hadoop/master追加：

master

编辑hadoop目录下etc/hadoop/slaves追加：

slave1

slave2

格式化HDFS：master节点运行命令 hdfs namenode –format

master节点运行hadoop目录下sbin/start.all.sh启动所有程序

4.验证Hadoop环境搭建是否成功:

在master和slave节点上输入命令jps

Spark部署：

1.下载spark软件包，重命名conf/目录下spark-env,sh.template为

spark-env.sh。重命名conf/目录下slaves.template为slaves。

2.配置spark

编辑conf/spark-env.sh文件,在开头添加配置信息：

export

SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop/bin/hadoop/cla sspath)

export JAVA_HOME=/usr/local/jdk64/jdk1.8