Hadoop2.2.0+Hbase0.98.1+Sqoop1.4.4+Hive0.13完全安装手册
hadoop1.0和2.0资源管理机制 介绍
Hadoop 1.0与Hadoop 2.0资源管理方案对比转载2014年01月03日 16:27:53670转载自董的博客Hadoop新书《Hadoop技术内幕：深入解析YARN架构设计与实现原理》已于2013年12月初出版，该书基于hadoop 2.x版本编写，重点剖析Hadoop YARN以及运行在YARN上的计算框架。
在Hadoop中，资源管理是很重要的一个模块，它直接决定了资源的组织形式和分配方式，是其他功能的基础，而伴随着Hadoop的优化和升级，资源管理系统在发生的重大变化，本文将对比Hadoop 1.0和Hadoop 2.0中的资源管理方案。
1. Hadoop 1.0中的资源管理方案Hadoop 1.0指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker）和数据处理引擎（MapTask和ReduceTask）三部分组成。
Hadoop 1.0资源管理由两部分组成：资源表示模型和资源分配模型，其中，资源表示模型用于描述资源的组织方式，Hadoop 1.0采用“槽位”（slot）组织各节点上的资源，而资源分配模型则决定如何将资源分配给各个作业/任务，在Hadoop中，这一部分由一个插拔式的调度器完成。
Hadoop引入了“slot”概念表示各个节点上的计算资源。
为了简化资源管理，Hadoop将各个节点上的资源（CPU、内存和磁盘等）等量切分成若干份，每一份用一个slot表示，同时规定一个task可根据实际需要占用多个slot 。
通过引入“slot“这一概念，Hadoop将多维度资源抽象简化成一种资源（即slot），从而大大简化了资源管理问题。
更进一步说，slot相当于任务运行“许可证”，一个任务只有得到该“许可证”后，才能够获得运行的机会，这也意味着，每个节点上的slot数目决定了该节点上的最大允许的任务并发度。
我学大数据技术(hadoop2.7+hbase1.0+hive1.2)
这个地方有点奇怪，应该是 1.7.0_45 ,我查一下。系统默认安装了 java 我全部删除，重新安 装 先查询一下有哪些 jdk ： rpm -qa jdk 然后 rpm -e 把查询的都删除 然后重新安装: rpm -ivh jdk-7u45-linux-x64.rpm
2、切换到 hadoop 用户，创建安装所需要的文件夹
2015 年 8 月 13 日 17:12 1、关机和重启 ?
1 shutdown -h now 2 shutdown -r now
2、创建用户，并设置密码 ?
1 useradd wukong ?
1 d wukong
根据提示输入密码，回车，并再确认输入一次密码。 3、查看，删除用户 ?
1 cat /etc/passwd ?
Prerequisites
Install Java. See the Hadoop Wiki for known good versions. Download a stable version of Hadoop from Apache mirrors. /hadoop/HadoopJavaVersions 说明 下载地址 java1.7.45 /technetwork/java/javase/downloads/index-jdk5-jsp-142662.html
来自 </allman90/blog/295173>
2、VMware 虚拟机的安装配置
2015 年 8 月 13 日 21:08
一、基础篇
1、环境的搭建 基础支撑环境的搭建
首先基于 VMware 搭建一个简单机器测试集群环境 1.1VM13808.html?ald 各位可以随意网站下载，系统用 64 位。
Sqoop安装配置及演示
Sqoop 是一个用来将Hadoop （Hive 、HBase ）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例 如：MySQL ,Oracle ,Postgres 等）中的数据导入到Hadoop 的HDFS 中，也可以将HDFS 的数据导入到关系型数据库中。
Sqoop 目前已经是Apache 的顶级项目了，目前版本是1.4.5 和 Sqoop2 1.99.4，本文以1.4.5的版本为例讲解基本的安装配置和简单应用的演示。
安装配置准备测试数据导入数据到HDFS导入数据到Hive导入数据到HBase[一]、安装配置选择Sqoop 1.4.5 版本：sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz1.1、下载后解压配置：1.2、环境变量配置 vi ~/.bash_profile ：1.3、配置Sqoop 参数：复制<SQOOP_HOME>/conf/sqoop-env-template.sh 一份重命名为：<SQOOP_HOME>/conf/sqoop-env.sh vi <SQOOP_HOME>/conf/sqoop-env.sh补充：因为我当前用户的默认环境变量中已经配置了相关变量，故该配置文件无需再修改：1.4、驱动jar 包下面测试演示以MySQL 为例，则需要把mysql 对应的驱动lib 文件copy 到 <SQOOP_HOME>/lib 目录下。
1tar -zxvf sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar .gz /hadoop/2cd /hadoop/3ln -s sqoop-1.4.5.bin__hadoop-2.0.4-alpha sqoop1#Sqoop add by 2export SQOOP_HOME=/hadoop/sqoop 3export PATH=$SQOOP_HOME/bin:$PATH1# 指定各环境变量的实际配置2# Set Hadoop-specific environment variables here.3 4#Set path to where bin/hadoop is available 5#export HADOOP_COMMON_HOME=6 7#Set path to where hadoop-*-core.jar is available 8#export HADOOP_MAPRED_HOME=9 10#set the path to where bin/hbase is available 11#export HBASE_HOME=12 13#Set the path to where bin/hive is available 14#export HIVE_HOME=1# Hadoop 2export HADOOP_PREFIX="/hadoop/hadoop-2.6.0" 3export HADOOP_HOME=${HADOOP_PREFIX} 4export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin 5export HADOOP_COMMON_HOME=${HADOOP_PREFIX} 6export HADOOP_HDFS_HOME=${HADOOP_PREFIX} 7export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}8export HADOOP_YARN_HOME=${HADOOP_PREFIX} 9# Native Path 10export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native 11export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib/native"12# Hadoop end 13 14#Hive 15export HIVE_HOME=/hadoop/apache-hive-0.14.0-bin 16export PATH=$HIVE_HOME/bin:$PATH 17 18#HBase 19export HBASE_HOME=/hadoop/hbase-0.98.8-hadoop220export PATH=$HBASE 21 22#add by 以MySQL 为例：192.168.6.77（hostname:Master.Hadoop ）database: test用户：root 密码：micmiu准备两张测试表一个有主键表demo_blog ，一个无主键表 demo_log ：插入测试数据：[三]、导入数据到HDFS3.1、导入有主键的表比如我需要把表 demo_blog (含主键) 的数据导入到HDFS 中，执行如下命令：执行过程如下：1CREATE TABLE `demo_blog` (2 `id` int (11) NOT NULL AUTO_INCREMENT,3 `blog` varchar (100) NOT NULL,4 PRIMARY KEY (`id`)5) ENGINE=MyISAM DEFAULT CHARSET=utf8;1CREATE TABLE `demo_log` (2 `operator` varchar (16) NOT NULL,3 `log` varchar (100) NOT NULL 4) ENGINE=MyISAM DEFAULT CHARSET=utf8;1insert into demo_blog (id, blog) values (1, "");2insert into demo_blog (id, blog) values (2, "");3insert into demo_blog (id, blog) values (3, "");4 5insert into demo_log (operator, log) values ("micmiu", "create");6insert into demo_log (operator, log) values ("micmiu", "update");7insert into demo_log (operator, log) values ("michael", "edit");8insert into demo_log (operator, log) values ("michael", "delete");1sqoop import --connect jdbc:mysql://192.168.6.77/test --username root --password micmiu --table demo_blog验证导入到hdfs 上的数据：ps ：默认设置下导入到hdfs 上的路径是： /user/username/tablename/(files)，比如我的当前用户是hadoop ，那么实际路径即： /user/hadoop/demo_blog/(files)。
大数据集群配置过程_hive篇
大数据集群配置过程_hive篇JDDC_SEED_BIGDATA 2015-01-151.概述本篇文档主要讲解hive的安装过程。
Hadoop是安装hbase和hive的基础，即安装hbase和hive之前必须先安装hadoop并且hdfs和mapreduce必须都功能正常。
因为hbase和hive 其底层所使用都是应用hadoop的两个核心部分—hdfs和mapreduce。
在安装hadoop之前需要考滤操作系统的版本（32位还是64位）以及hbase和hive的版本，否则会引起jar包不支持而导致的jar包替换或jar包重新编译等问题。
Hadoop、hbase、hive的版本匹配信息如下：由于我们所使用的操作系统centos6.5是32位，而且安装的hadoop是hadoop2.2.0，所以本次安装的hive版本是0.12.0切记，在安装hbase之前一定先安装hadoop，而且要确保hadoop中的HDFS和MAPREDUCE都是可以正常使用的。
2.正文与hadoop和hbase不同，hive在安装的过程中不需要把hive的包分别发布到个节点上，只需要在namenode节点上hive包进行配置，但需要在配置的过程中指定各个datanode节点的主机名。
2.1下载安装mysql本次将Hive配置成Server模式，并且使用MySQL作为元数据数据库。
原则上MySQL不必要非得安装在namenode节点上，可以装在一个单独的服务器上，并进行远程联接。
本次技术检证，由于资源有限，把mysql安装在namenode节点上。
下载MySQL-5.6.22-1.linux_glibc2.5.i386.rpm-bundle.tar，参考下载地址/downloads/。
具体的安装以及root初始密码的修改请参考《linux下MySQL安装及设置》和《MySQL修改root密码的各种方法整理》这两篇文档。
2.2创建Hive元数据库创建数据库hive：create database if not exists hive;创建数据库用户hive：create user hive identified by 'hive2015';授权可以访问数据库hive的主机和用户：grant all on hive.* to 'hive'@'hadoop01' identified by 'hive2015';grant all on hive.* to 'hive'@'hadoop02' identified by 'hive2015';grant all on hive.* to 'hive'@'hadoop03' identified by 'hive2015';grant all on hive.* to 'hive'@'hadoop04' identified by 'hive2015';2.3安装以及配置hive下载hive-0.12.0-bin.tar.gz，参考下载地址/downloads.html。
Hadoop2.4、Hbase0.98、Hive集群安装配置手册
Hadoop、Zookeeper、Hbase、Hive集群安装配置手册运行环境机器配置虚机CPU E5504*2 (4核心)、内存 4G、硬盘25G进程说明QuorumPeerMain ZooKeeper ensemble member DFSZKFailoverController Hadoop HA进程，维持NameNode高可用 JournalNode Hadoop HA进程，JournalNode存储EditLog,每次写数据操作有大多数(>=N+1)返回成功时即认为该次写成功,保证数据高可用 NameNode Hadoop HDFS进程，名字节点DataNode HadoopHDFS进程， serves blocks NodeManager Hadoop YARN进程，负责 Container 状态的维护，并向 RM 保持心跳。
ResourceManager Hadoop YARN进程，资源管理 JobTracker Hadoop MR1进程，管理哪些程序应该跑在哪些机器上，需要管理所有 job 失败、重启等操作。
TaskTracker Hadoop MR1进程，manages the local Childs RunJar Hive进程HMaster HBase主节点HRegionServer HBase RegionServer, serves regions JobHistoryServer 可以通过该服务查看已经运行完的mapreduce作业记录应用 服务进程 主机/hostname 系统版本mysql mysqld10.12.34.14/ Centos5.810.12.34.15/h15 Centos5.8 HadoopZookeeperHbaseHiveQuorumPeerMainDFSZKFailoverControllerNameNodeNodeManagerRunJarHMasterJournalNodeJobHistoryServerResourceManagerDataNodeHRegionServer10.12.34.16/h16 Centos5.8 HadoopZookeeperHbaseHiveDFSZKFailoverControllerQuorumPeerMainHMasterJournalNodeNameNodeResourceManagerDataNodeHRegionServerNodeManager10.12.34.17/h17 Centos5.8 HadoopZookeeperHbaseHiveNodeManagerDataNodeQuorumPeerMainJournalNodeHRegionServer环境准备1.关闭防火墙15、16、17主机：# service iptables stop2.配置主机名a) 15、16、17主机：# vi /etc/hosts添加如下内容：10.12.34.15 h1510.12.34.16 h1610.12.34.17 h17b) 立即生效15主机：# /bin/hostname h1516主机：# /bin/hostname h1617主机：# /bin/hostname h173. 创建用户15、16、17主机：# useraddhduser密码为hduser# chown -R hduser:hduser /usr/local/4.配置SSH无密码登录a)修改SSH配置文件15、16、17主机：# vi /etc/ssh/sshd_config打开以下注释内容：#RSAAuthentication yes#PubkeyAuthentication yes#AuthorizedKeysFile .ssh/authorized_keysb)重启SSHD服务15、16、17主机：# service sshd restartc)切换用户15、16、17主机：# su hduserd)生成证书公私钥15、16、17主机：$ ssh‐keygen ‐t rsae)拷贝公钥到文件（先把各主机上生成的SSHD公钥拷贝到15上的authorized_keys文件，再把包含所有主机的SSHD公钥文件authorized_keys拷贝到其它主机上）15主机：$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys16主机：$cat ~/.ssh/id_rsa.pub | ssh hduser@h15 'cat >> ~/.ssh/authorized_keys'17主机：$cat ~/.ssh/id_rsa.pub | ssh hduser@h15 'cat >> ~/.ssh/authorized_keys'15主机：# cat ~/.ssh/authorized_keys | ssh hduser@h16 'cat >> ~/.ssh/authorized_keys'# cat ~/.ssh/authorized_keys | ssh hduser@h17 'cat >> ~/.ssh/authorized_keys'5.Mysqla) Host10.12.34.14:3306b) username、passwordhduser@hduserZookeeper使用hduser用户# su hduser安装（在15主机上）1.下载/apache/zookeeper/2.解压缩$ tar ‐zxvf /zookeeper‐3.4.6.tar.gz ‐C /usr/local/配置（在15主机上）1.将zoo_sample.cfg重命名为zoo.cfg$ mv /usr/local/zookeeper‐3.4.6/conf/zoo_sample.cfg /usr/local/zookeeper‐3.4.6/conf/zoo.cfg2.编辑配置文件$ vi /usr/local/zookeeper‐3.4.6/conf/zoo.cfga)修改数据目录dataDir=/tmp/zookeeper修改为dataDir=/usr/local/zookeeper‐3.4.6/datab)配置server添加如下内容：server.1=h15:2888:3888server.2=h16:2888:3888server.3=h17:2888:3888server.X=A:B:C说明：X：表示这是第几号serverA：该server hostname/所在IP地址B：该server和集群中的leader交换消息时所使用的端口C：配置选举leader时所使用的端口3.创建数据目录$ mkdir /usr/local/zookeeper‐3.4.6/data4.创建、编辑文件$ vi /usr/local/zookeeper‐3.4.6/data/myid添加内容（与zoo.cfg中server号码对应）：1在16、17主机上安装、配置1.拷贝目录$ scp ‐r /usr/local/zookeeper‐3.4.6/ hduser@10.12.34.16:/usr/local/$ scp ‐r /usr/local/zookeeper‐3.4.6/ hduser@10.12.34.17:/usr/local/2.修改myida)16主机$ vi /usr/local/zookeeper‐3.4.6/data/myid1 修改为2b)17主机$ vi /usr/local/zookeeper‐3.4.6/data/myid1修改为3启动$ cd /usr/local/zookeeper‐3.4.6/$./bin/zkServer.sh start查看状态：$./bin/zkServer.sh statusHadoop使用hduser用户# su hduser安装（在15主机上）一、安装Hadoop1.下载/apache/hadoop/common/2.解压缩$ tar ‐zxvf /hadoop‐2.4.0.tar.gz ‐C /usr/local/二、 编译本地库，主机必须可以访问internet。
安装配置_hadoop2.4_zookeeper3.4.6_hbase0.98.3_mysql5.6.14_hive0.13.1_sqoop1.99.3(带下载URL)
172.21.107.37 s37
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=mas
HOSTNAME=s36
HOSTNAME=s37
------------------------------------------------------------------------------------------------------------------------
vi ~/.bash_profile
#tools compile
export CMAKE_HOME=/usr/local/cmake-2.8.12.2
export PROTOC_HOME=/usr/local/protobuf-2.5.0
export MAVEN_HOME=/usr/local/apache-maven-3.0.5
8.测试是否成功
ssh 172.21.107.35
ssh 172.21.107.36
ssh 172.21.107.37
------------------------------------------------------------------------------------------------------------------------
useradd -u 600 hadoop -d /home/hadoop
2.修改密码
echo "hadoop" |passwd --stdin hadoop
------------------------------------------------------------------------------------------------------------------------
HadoopHbaseHive安装过程详细记录-14页word资料
一、说明网络上有很多关于hadoop hbase hive的安装说明，按照其方法，总是有问题，记录下完整的安装过程，以供参考。
A操作系统是 ubuntu12.10二、安装jdk， hadoop, ssh server的方法参考文章《ubuntu操作记录》下面是具体内容：1.安装ubuntu之后，增加root 用户 sudo passwd ；2.ifconfig查看网络配置；/etc/network/interfaces3.网络配置文件：netifa /etc/sysconfig/network4、安装ssh5.sudo apt-get ssh-server;6、jdk安装sudo mo ./jdk.bin /opt/chmod u+x jdk.binsudo ./jkd.bin或 sh ./jdk.bin6.配置jdk;/etc/profile#set java environmentexport JAVA_HOME=/opt/jdk1.6.0_24(=前后没有空格)export CLASSPATH=.:$JAVA_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$PATHumask 022/etc/environmentPATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/ga mesc"CLASSPATH="/opt/jdk1.6.0_24/lib"JAVAHOME="/opt/jdk1.6.0_24"7. shutdown –r now重启之后，显示java安装成功。
7、ssh设置$ apt-get install ssh$ ssh-keygen -t rsa -f ~/.ssh/id_rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ ssh localhost（认证没有通过）在上面的问题中应该回答yes,继续，就可以ssh匿名登录了。
Sqoop进阶及Hive、Hbase相关知识介绍
Hadoop
课程目标
Sqoop增量导入 Hive内部表和外部表 Hbase概述 Hbase安装说明 Hbase简单命令
Sqoop增量导入（1）
sqoop支持两种增量导入模式，
--check-column (col) 检查指定的列，根据此列判 断哪些记录是新数据且需要导入的，列不能是字符相 关类型（CHAR/NCHAR/VARCHAR/VARNCHAR/ LONGVARCHAR/LONGNVARCHAR）
注意：不管是使用哪种模式导入，--check-column、 --incremental和--last-value三个参数在命令中都必 须同时使用。
hive内部表与外部表（1）
创建一张内部表create table innerTable(id int,name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE;
整个存储系统就会挂掉.
Hbase安装（1）
安装的前提条件是已经成功安装了Hadoop 安装版本hbase-0.98.9-hadoop2-bin.tar.gz 解压文件tar –xzvf hbase-0.98.9-hadoop2-
bin.tar.gz 修改hbase下的conf目录下的配置文件hbase-env.sh
导入数据drop table exterTable;
删除外部表的时候，数据并没有被删除，这是和 删除表的数据完全不一样的
hive内部表与外部表（4）
Hive中表与外部表的区别：
1、在导入数据到外部表，数据并没有移动到自己 的数据仓库目录下，也就是说外部表中的数据并 不是由它自己来管理的！而表则不一样；
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Hadoop2.2.0+Hbase0.98.1+Sqoop1.4.4+Hive0.13完全安装手册前言： (3)一. Hadoop安装（伪分布式） (4)1. 操作系统 (4)2. 安装JDK (4)1> 下载并解压JDK (4)2> 配置环境变量 (4)3> 检测JDK环境 (5)3. 安装SSH (5)1> 检验ssh是否已经安装 (5)2> 安装ssh (5)3> 配置ssh免密码登录 (5)4. 安装Hadoop (6)1> 下载并解压 (6)2> 配置环境变量 (6)3> 配置Hadoop (6)4> 启动并验证 (8)前言：网络上充斥着大量Hadoop1的教程，版本老旧，Hadoop2的中文资料相对较少，本教程的宗旨在于从Hadoop2出发，结合作者在实际工作中的经验，提供一套最新版本的Hadoop2相关教程。
为什么是Hadoop2.2.0，而不是Hadoop2.4.0本文写作时，Hadoop的最新版本已经是2.4.0，但是最新版本的Hbase0.98.1仅支持到Hadoop2.2.0，且Hadoop2.2.0已经相对稳定，所以我们依然采用2.2.0版本。
一. Hadoop安装（伪分布式）1. 操作系统Hadoop一定要运行在Linux系统环境下，网上有windows下模拟linux环境部署的教程，放弃这个吧，莫名其妙的问题多如牛毛。
2. 安装JDK1> 下载并解压JDK我的目录为：/home/apple/jdk1.82> 配置环境变量打开/etc/profile，添加以下内容：export JAVA_HOME=/home/apple/jdk1.8export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar执行source /etc/profile ，使更改后的profile生效。
执行以下命令，赋予JDK运行的权限：chmod 777 /home/apple/jdk1.8/bin/*chmod 777 /home/apple/jdk1.8/lib/*3> 检测JDK环境执行 java –version ，查看结果，如出现如下提示，则说明JDK已成功配置：3. 安装SSH1> 检验ssh是否已经安装Ubuntu系统可以通过如下命令来查看ssh是否已经安装：netstat -an| grep 22如果已安装，可跳过第二步。
2> 安装sshUbuntu系统可以通过如下命令来安装ssh：sudo apt-get install ssh3> 配置ssh免密码登录通过如下命令来配置ssh免密码登录：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys输入如下命令验证免密码登录是否成功：ssh localhost如出现如下界面，则表示登录成功：4. 安装Hadoop1> 下载并解压我的目录为：/home/apple/hadoop-2.2.02> 配置环境变量打开/etc/profile，添加以下内容：export HADOOP_HOME=/home/apple/hadoop-2.2.0export HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"export YARN_HOME=$HADOOP_HOMEexportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 执行source /etc/profile ，使更改后的profile生效。
执行以下命令，赋予Hadoop运行的权限：chmod 777 /home/apple/hadoop-2.2.0/bin/*chmod 777 /home/apple/hadoop-2.2.0/sbin/*3> 配置Hadoop修改$HADOOP_HOME/etc/hadoop目录下的配置文件。
core-site.xml添加以下内容：<property><name></name><value>hdfs://localhost:9000</value></property><property><name>hadoop.native.lib</name><value>true</value></property>hadoop-env.sh修改以下内容：export JAVA_HOME=/home/apple/jdk1.8hdfs-site.xml添加以下内容：<property><name>dfs.replication</name><value>1</value></property><property><name>.dir</name><value>file:/home/apple/hadoop-2.2.0/hdfs/namenode</value> </property><property><name>dfs.datanode.data.dir</name><value>file:/home/apple/hadoop-2.2.0/hdfs/datanode</value> </property>这里的两个地址，是你namenode和datanode两个节点上，希望hdfs文件存储的位置。
mapred-site.xml.template改为mapred-site.xml，添加以下内容：<property><name></name><value>yarn</value></property>yarn-site.xml添加以下内容：<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value></property>4> 启动并验证用如下命令启动或关闭Hadoop：start-all.shstop-all.sh如果一切正常，使用jps命令你会看到如下信息：访问8088端口可以查看job信息访问50070端口可以查看namenode信息：二. Hbase安装1. 下载并解压解压从官网下的hbase-0.98.1-hadoop2-bin.tar.gz包到本地目录，我的目录为/home/apple/hbase-0.98.1。
2. 配置环境变量打开/etc/profile，添加以下内容：export HBASE_HOME=/home/apple/hbase-0.98.1exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBAS E_HOME/bin:执行source /etc/profile ，使更改后的profile生效。
执行以下命令，赋予Hbase运行的权限：chmod 777 /home/apple/hbase-0.98.1/bin/*3. 配置Hbase打开HBASE_HOME/conf/hbase-env.sh，添加以下内容：export JAVA_HOME=/home/apple/jdk1.8/export HBASE_MANAGES_ZK=true打开HBASE_HOME/conf/hbase-site.xml，添加以下内容：<property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.master</name><value>localhost:60000</value></property><property><name>hbase.zookeeper.quorum</name><value>localhost</value></property>4. 启动Hbase用如下命令启动和关闭Hbase：start-hbase.shstop-hbase.sh注意：必须先启动Hadoop，再启动Hbase；先关闭Hbase，再关闭Hadoop 启动后，使用jps查看Hbase进程：如有错误或Hbase进程未启动，可通过HBASE_HOME/ logs/ hbase-apple-master-机器名.log来查看启动过程信息。