Hadoop2.4、Hbase0.98、Hive集群安装配置手册
Hadoop、HBase、Zk、Hive安装手册
2、core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at
Hadoop学习之Hbase安装
Hadoop学习之Hbase安装安装需注意：1、安装环境：Centos6.6 64位，2G内存(在虚拟机下安装Centos系统)。
Jdk版本：1.7.0_71Hadoop版本:2.5.1Hbase版本：0.98.72、Hadoop环境：节点名用户名IP地址master gznc 192.168.1.100slave01 gznc 192.168.1.101slave02 gznc 192.168.1.1021、把下载好的Hbase安转包上传或者移动到主节点的gznc目录下。
2、解压Hbase的安装包，命令如下：3、配置Hbase环境变量(备注：slave01（节点）也要配置)，命令如下：在末尾添加以下代码：4、使环境变量生效，命令如下：5、进入Hbase安装目录下的conf文件夹，命令如下：6、配置hbase-env.sh文件，命令如下：找到JAVA_HOME和HBASE_CLASSPATH和HBASE_MANAGES_ZK配置选项，先把前面的“#”号去掉，在“=”号后添加以下代码：jdk安转目录：Hbase安装路径：使用自带的zookeeper的管理集群：7、配置hbase-site.xml文件，命令如下：添加以下代码：8、配置节点列表：删掉localhost，更改为自己的电脑的节点的主机名（hostname），有几个节点就填写几个，一个节点名独占一行（备注：如果不知道主机名，可以打开终端输入“hostname”，就可以查看）。
如下图：9、在主节点（master）为从节点（slave01）配置HMaster的备用节点，backup-masters文件本身不存在，命令执行完成后会自动生成：添加以下类容：10、把主节点hbase文件复制到从节点，命令如下：11、启动hbase，输入jps查看各个进程的情况，命令如下：启动hbase：查看主节点进程：从节点进程：12、进入hbase(在hbase安装目录的bin目录下输入“habse shell”):13、输入“help”查看hbase提供的功能：14、查看hbaseRegionserver运行状态，命令如下：15、查看当前用户：16、Enjoy！如需转载，请注明出处。
hadoop+HBase+ZooKeeper+Hive完全分布式集群部署安装
hadoop+HBase+ZooKeeper+Hive完全分布式集群部署安装1. 系统环境1.1. 软件版本下表为本系统环境所安装的软件的版本信息：软件类别版本下载地址Hadoop官⽹zookeeper官⽹hbase官⽹hive官⽹1.2. ⽹络配置总共7台服务器和⼀个VIP，详细信息如下：（主机名看下是否合法和能ping通，如果未配置dns强烈建议⽤IP,或者在每台机器hosts⽂件写上所有IP的主机名）主机名IP地址备注hadoop001192.168.63.201hadoop002192.168.63.202hadoop003192.168.63.203hadoop004192.168.63.204hadoop005192.168.63.205hadoop006192.168.63.206hadoop007192.168.63.207hadoop192.168.63.200设置Hadoop的VIP2. ⽬的掌握hadoop的安装和部署HDFS，Hbase，Hive等组件。
3. Hadoop简介Hadoopt是⼀个基础架构，由Apache基⾦会开发。
⽤户可以在不了解分布式底层细节的情况下，开发分布式程序。
充分利⽤集群的威⼒⾼速运算和存储。
Hadoop实现了⼀个（Hadoop Distributed File System），简称HDFS。
HDFS有着⾼容错性的特点，并且设计⽤来部署在低廉的硬件上。
⽽且它提供⾼传输率来访问的数据，适合那些有着超⼤数据集的应⽤程序。
HDFS放宽了POSIX的要求，这样可以流的形式访问⽂件系统中的数据。
详细介绍请参见：4. HDFS安装部署。
4.1. 安装准备4.1.1. 机器准备本例stage2环境如下：IP地址HDFS Zookeeper Hbase Hive192.168.63.201Namenode－Hmaster hive192.168.63.202Namenode(second)－Hmaster hive192.168.63.203Datanode1zookeeper HRegionServerhive192.168.63.203Datanode1zookeeper HRegionServerhive192.168.63.204Datanode2zookeeper HRegionServerhive192.168.63.205Datanode3zookeeper HRegionServerhive192.168.63.206Datanode4－HRegionServerhive192.168.63.207Datanode5－HRegionServerhiveNameNode：是Master节点，是⼤领导。
hadoop集群安装配置的主要操作步骤-概述说明以及解释
hadoop集群安装配置的主要操作步骤-概述说明以及解释1.引言1.1 概述Hadoop是一个开源的分布式计算框架，主要用于处理和存储大规模数据集。
它提供了高度可靠性、容错性和可扩展性的特性，因此被广泛应用于大数据处理领域。
本文旨在介绍Hadoop集群安装配置的主要操作步骤。
在开始具体的操作步骤之前，我们先对Hadoop集群的概念进行简要说明。
Hadoop集群由一组互联的计算机节点组成，其中包含了主节点和多个从节点。
主节点负责调度任务并管理整个集群的资源分配，而从节点则负责实际的数据存储和计算任务执行。
这种分布式的架构使得Hadoop可以高效地处理大规模数据，并实现数据的并行计算。
为了搭建一个Hadoop集群，我们需要进行一系列的安装和配置操作。
主要的操作步骤包括以下几个方面：1. 硬件准备：在开始之前，需要确保所有的计算机节点都满足Hadoop的硬件要求，并配置好网络连接。
2. 软件安装：首先，我们需要下载Hadoop的安装包，并解压到指定的目录。
然后，我们需要安装Java开发环境，因为Hadoop是基于Java 开发的。
3. 配置主节点：在主节点上，我们需要编辑Hadoop的配置文件，包括核心配置文件、HDFS配置文件和YARN配置文件等。
这些配置文件会影响到集群的整体运行方式和资源分配策略。
4. 配置从节点：与配置主节点类似，我们也需要在每个从节点上进行相应的配置。
从节点的配置主要包括核心配置和数据节点配置。
5. 启动集群：在所有节点的配置完成后，我们可以通过启动Hadoop 集群来进行测试和验证。
启动过程中，我们需要确保各个节点之间的通信正常，并且集群的各个组件都能够正常启动和工作。
通过完成以上这些操作步骤，我们就可以成功搭建一个Hadoop集群，并开始进行大数据的处理和分析工作了。
当然，在实际应用中，还会存在更多的细节和需要注意的地方，我们需要根据具体的场景和需求进行相应的调整和扩展。
安装配置_hadoop2.4_zookeeper3.4.6_hbase0.98.3_mysql5.6.14_hive0.13.1_sqoop1.99.3(带下载URL)
172.21.107.37 s37
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=mas
HOSTNAME=s36
HOSTNAME=s37
------------------------------------------------------------------------------------------------------------------------
vi ~/.bash_profile
#tools compile
export CMAKE_HOME=/usr/local/cmake-2.8.12.2
export PROTOC_HOME=/usr/local/protobuf-2.5.0
export MAVEN_HOME=/usr/local/apache-maven-3.0.5
8.测试是否成功
ssh 172.21.107.35
ssh 172.21.107.36
ssh 172.21.107.37
------------------------------------------------------------------------------------------------------------------------
useradd -u 600 hadoop -d /home/hadoop
2.修改密码
echo "hadoop" |passwd --stdin hadoop
------------------------------------------------------------------------------------------------------------------------
HadoopHbaseHive安装过程详细记录-14页word资料
一、说明网络上有很多关于hadoop hbase hive的安装说明，按照其方法，总是有问题，记录下完整的安装过程，以供参考。
A操作系统是 ubuntu12.10二、安装jdk， hadoop, ssh server的方法参考文章《ubuntu操作记录》下面是具体内容：1.安装ubuntu之后，增加root 用户 sudo passwd ；2.ifconfig查看网络配置；/etc/network/interfaces3.网络配置文件：netifa /etc/sysconfig/network4、安装ssh5.sudo apt-get ssh-server;6、jdk安装sudo mo ./jdk.bin /opt/chmod u+x jdk.binsudo ./jkd.bin或 sh ./jdk.bin6.配置jdk;/etc/profile#set java environmentexport JAVA_HOME=/opt/jdk1.6.0_24(=前后没有空格)export CLASSPATH=.:$JAVA_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$PATHumask 022/etc/environmentPATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/ga mesc"CLASSPATH="/opt/jdk1.6.0_24/lib"JAVAHOME="/opt/jdk1.6.0_24"7. shutdown –r now重启之后，显示java安装成功。
7、ssh设置$ apt-get install ssh$ ssh-keygen -t rsa -f ~/.ssh/id_rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ ssh localhost（认证没有通过）在上面的问题中应该回答yes,继续，就可以ssh匿名登录了。
Hadoop和Hbase安装使用
云计算实验——Hadoop和Hbase的安装使用作者：中国云计算论坛云计算_龙竹（aiken）E-mail：brucexu1988@ 欢迎访问中国云计算：1 准备工作1.1 安装VMware（网上可以下载，按照步骤一步一步地安装即可）；1.2 安装SSH secure client1.3 在虚拟机中启动打开Hadoop虚拟机文件，修改IP地址和Hostname，具体方法如下：（1）在Linux操作系统启动后，右击鼠标，打开终端“open terminal”；（2）配置ip地址，输入指令：“gedit /etc/sysconfig/network-scripts/ifcfg-eth0”；（3）按“回车键”，进入配置Ip的窗口。
（4）修改BOOTPRO,“BOOTPRO=static”；（5）设置ip地址：“IPADDR=192.168.10.152”(根据自己的需要配置)；（6）保存（ctrl+s），退出；（7）配置Hostname，输入指令“gedit /etc/sysconfig/network”；（8）按“回车键”，进入配置Hostname的窗口。
（9）将Hostname修改为“sev152”(根据自己的需要配置)；（10）保存（ctrl+s），退出；（11）重启：输入指令“reboot”。
1.4检查IP和Hostname是否配置完好（1）重新启动后，右击鼠标，打开终端“open terminal”；（2）检查IP ，输入指令：“ip addr show”；如图1.1所示显示，ip地址已经被修改。
图1 .1 IP地址检查（3）检查Hostname ，使用指令“ping sev152”（sev152是刚刚自己配置的主机名）；如图1.2所示，主机名修改无误。
图1.2 检查Hostname（4）按“ctrl+c”快捷键，退出“ping”；2 安装SSH打开SSH Secure Shell,点击“Quick Connect”，会跳出如图2.1所示的窗口，在Host Name 中输入刚刚所配置的Ip地址：“192.168.10.152”，然后单击“connect”。
hadoop与hbase与hive与oozie安装使用文档
HadoopHBaseHiveOozie安装使用文档目录Hadoop-2.0 HA 解决方案安装文档 (1)1.安装NFS并配置共享目录 (2)2.修改hadoop安装目录下etc/hadoop/core-site.xml (4)3.修改hdfs-site.xml (4)Node格式化 (6)5.HDFS (HA) 的初始化 (7)6.zkfc格式化 (7)7.HDFS(HA) 的管理 (7)8.验证hadoop-2.0 HA高可用是否成功 (7)HBase 安装文档 (10)一、环境简介 (10)二、安装步骤 (10)1.解压安装包 (10)2. 修改配置文件hbase-site.xml (10)3. 修改配置文件regionservers (11)4. 修改配置文件hbase-evn.sh (11)5. 使用scp命令将HBase主目录复制到另外三台服务器相同的路径下： (11)6.对每台服务器进行时间同步 (11)7. 启动HBase (12)8.验证是否成功启动 (12)9.关闭HBase (13)Hive安装文档 (14)一、环境简介 (14)二、安装步骤 (14)1. 为Hive创建mysql用户及数据库，并赋予足够的权限 (14)2. 解压Hive安装包 (14)3. 生成配置文件 (14)4. 修改配置文件 (15)5. 下载、安装mysql驱动 (15)6. 验证Hive安装 (16)三、Hive的连接 (16)1.使用jdbc连接Hive数据库 (16)2使用HBase连接Hive数据库 (17)Oozie安装使用文档 (20)一、环境简介 (20)二、安装步骤 (20)1. 解压Tomcat安装包 (20)2. 验证Tomcat安装 (20)3.为Oozie创建mysql用户及数据库，并赋予足够的权限 (21)4.解压Oozie安装包 (21)5.添加环境变量 (21)6.修改配置文件 (21)7.安装mysql驱动 (22)8.在mysql上为Oozie创建数据库模式 (22)9.安装Oozie Web控制台 (22)10. 启动Oozie (22)11. 查看Web控制台 (22)12. 关闭Oozie (23)三、使用范例 (23)1解压Oozie自带的examples包 (23)2.将解压出的examples文件夹上传至hadoop存储环境的根文件夹下 (23)3. 修改Hadoop的core-site.xml配置文件 (23)4.修改map-reduce job的job.properties文件 (24)5. 执行map-reduce job (24)保密级别：研发部内部Hadoop-2.0 HA 解决方案安装文档版本：v1.0发布日期：2012年8月21日1.安装NFS并配置共享目录NFS是Network File System的简写,即网络文件系统.网络文件系统是FreeBSD支持的文件系统中的一种，也被称为NFS. NFS允许一个系统在网络上与它人共享目录和文件。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Hadoop、Zookeeper、Hbase、Hive集群安装配置手册运行环境机器配置虚机CPU E5504*2 (4核心)、内存 4G、硬盘25G进程说明QuorumPeerMain ZooKeeper ensemble member DFSZKFailoverController Hadoop HA进程，维持NameNode高可用 JournalNode Hadoop HA进程，JournalNode存储EditLog,每次写数据操作有大多数(>=N+1)返回成功时即认为该次写成功,保证数据高可用 NameNode Hadoop HDFS进程，名字节点DataNode HadoopHDFS进程， serves blocks NodeManager Hadoop YARN进程，负责 Container 状态的维护，并向 RM 保持心跳。
ResourceManager Hadoop YARN进程，资源管理 JobTracker Hadoop MR1进程，管理哪些程序应该跑在哪些机器上，需要管理所有 job 失败、重启等操作。
TaskTracker Hadoop MR1进程，manages the local Childs RunJar Hive进程HMaster HBase主节点HRegionServer HBase RegionServer, serves regions JobHistoryServer 可以通过该服务查看已经运行完的mapreduce作业记录应用 服务进程 主机/hostname 系统版本mysql mysqld10.12.34.14/ Centos5.810.12.34.15/h15 Centos5.8 HadoopZookeeperHbaseHiveQuorumPeerMainDFSZKFailoverControllerNameNodeNodeManagerRunJarHMasterJournalNodeJobHistoryServerResourceManagerDataNodeHRegionServer10.12.34.16/h16 Centos5.8 HadoopZookeeperHbaseHiveDFSZKFailoverControllerQuorumPeerMainHMasterJournalNodeNameNodeResourceManagerDataNodeHRegionServerNodeManager10.12.34.17/h17 Centos5.8 HadoopZookeeperHbaseHiveNodeManagerDataNodeQuorumPeerMainJournalNodeHRegionServer环境准备1.关闭防火墙15、16、17主机：# service iptables stop2.配置主机名a) 15、16、17主机：# vi /etc/hosts添加如下内容：10.12.34.15 h1510.12.34.16 h1610.12.34.17 h17b) 立即生效15主机：# /bin/hostname h1516主机：# /bin/hostname h1617主机：# /bin/hostname h173. 创建用户15、16、17主机：# useraddhduser密码为hduser# chown -R hduser:hduser /usr/local/4.配置SSH无密码登录a)修改SSH配置文件15、16、17主机：# vi /etc/ssh/sshd_config打开以下注释内容：#RSAAuthentication yes#PubkeyAuthentication yes#AuthorizedKeysFile .ssh/authorized_keysb)重启SSHD服务15、16、17主机：# service sshd restartc)切换用户15、16、17主机：# su hduserd)生成证书公私钥15、16、17主机：$ ssh‐keygen ‐t rsae)拷贝公钥到文件（先把各主机上生成的SSHD公钥拷贝到15上的authorized_keys文件，再把包含所有主机的SSHD公钥文件authorized_keys拷贝到其它主机上）15主机：$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys16主机：$cat ~/.ssh/id_rsa.pub | ssh hduser@h15 'cat >> ~/.ssh/authorized_keys'17主机：$cat ~/.ssh/id_rsa.pub | ssh hduser@h15 'cat >> ~/.ssh/authorized_keys'15主机：# cat ~/.ssh/authorized_keys | ssh hduser@h16 'cat >> ~/.ssh/authorized_keys'# cat ~/.ssh/authorized_keys | ssh hduser@h17 'cat >> ~/.ssh/authorized_keys'5.Mysqla) Host10.12.34.14:3306b) username、passwordhduser@hduserZookeeper使用hduser用户# su hduser安装（在15主机上）1.下载/apache/zookeeper/2.解压缩$ tar ‐zxvf /zookeeper‐3.4.6.tar.gz ‐C /usr/local/配置（在15主机上）1.将zoo_sample.cfg重命名为zoo.cfg$ mv /usr/local/zookeeper‐3.4.6/conf/zoo_sample.cfg /usr/local/zookeeper‐3.4.6/conf/zoo.cfg2.编辑配置文件$ vi /usr/local/zookeeper‐3.4.6/conf/zoo.cfga)修改数据目录dataDir=/tmp/zookeeper修改为dataDir=/usr/local/zookeeper‐3.4.6/datab)配置server添加如下内容：server.1=h15:2888:3888server.2=h16:2888:3888server.3=h17:2888:3888server.X=A:B:C说明：X：表示这是第几号serverA：该server hostname/所在IP地址B：该server和集群中的leader交换消息时所使用的端口C：配置选举leader时所使用的端口3.创建数据目录$ mkdir /usr/local/zookeeper‐3.4.6/data4.创建、编辑文件$ vi /usr/local/zookeeper‐3.4.6/data/myid添加内容（与zoo.cfg中server号码对应）：1在16、17主机上安装、配置1.拷贝目录$ scp ‐r /usr/local/zookeeper‐3.4.6/ hduser@10.12.34.16:/usr/local/$ scp ‐r /usr/local/zookeeper‐3.4.6/ hduser@10.12.34.17:/usr/local/2.修改myida)16主机$ vi /usr/local/zookeeper‐3.4.6/data/myid1 修改为2b)17主机$ vi /usr/local/zookeeper‐3.4.6/data/myid1修改为3启动$ cd /usr/local/zookeeper‐3.4.6/$./bin/zkServer.sh start查看状态：$./bin/zkServer.sh statusHadoop使用hduser用户# su hduser安装（在15主机上）一、安装Hadoop1.下载/apache/hadoop/common/2.解压缩$ tar ‐zxvf /hadoop‐2.4.0.tar.gz ‐C /usr/local/二、 编译本地库，主机必须可以访问internet。
官网下载的hadoop‐2.4.0.tar.gz所带的本地库为32位（使用# file /usr/local/hadoop‐2.4.0/lib/native/libhadoop.so查看，如内容为：/usr/local/hadoop-2.4.0/lib/native/libhadoop.so: ELF 32-bit LSB s hared object, Intel 80386, version 1 (SYSV), not stripped），导致无法使用本地库（WARN util.NativeCodeLoader: Unable to load native‐hadoop library for your platform... using builtin‐java classes where applicable），需要自行编译64位本地库，也可以直接使用随文档附件native.zip，使用方法参见替换32位本地库，该本地库是在centos5.8环境下编译的，因此需注意实际环境。
1.使用root用户$ su root2.安装zlib/b)解压缩# tar ‐zxvf /zlib‐1.2.8.tar.gz ‐C /c)进入目录# cd /zlib‐1.2.8d)安装# ./configure# make# make install3.安装openssla)下载/source/b)解压缩# tar ‐zxvf openssl‐1.0.1i.tar.gzc)进入目录# cd openssl‐1.0.1id)安装# ./config# make# make installe)使用当前ssl# ln ‐s /usr/local/ssl/include/openssl/ /usr/include/openssl4.安装JDKa)下载/technetwork/java/javase/downloadsb)解压缩# tar ‐zxvf /jdk‐6u25‐linux‐x64.tar.gz ‐C /usr/local/c)配置环境变量# vi /etc/profile添加以下内容：JAVA_HOME=/usr/local/jdk1.6.0_25CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jarPATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$JAVA_HOME/jre/bin立即生效：# source /etc/profile5.安装anta)下载/bindownload.cgib)解压缩# tar ‐zxvf /usr/local/apache‐ant‐1.9.4‐bin.tar.gz ‐C /usr/local/6.安装mavena)下载/download.cgi# tar ‐zxvf apache‐maven‐3.2.3‐bin.tar.gz ‐C /usr/local/7.添加ant、maven环境变量a)添加到profile# vi /etc/profile添加内容如下：export ANT_HOME=/usr/local/apache‐ant‐1.9.4export MAVEN_HOME=/usr/local/apache‐maven‐3.2.3export PATH=$PATH:$ANT_HOME/bin:$MAVEN_HOME/binb)立即生效：# source /etc/profile8.安装protobufa)下载https:///p/protobuf/downloads/listb)解压缩# tar ‐zxvf /protobuf‐2.5.0.tar.gz ‐C /c)进入目录# cd /protobuf‐2.5.0d)安装# ./configure# make# make install9.验证ant、maven、protobufa)ant# ant ‐versionb)maven# mvn ‐vc)protobuf# protoc ‐‐version10.安装cmakea)下载/download/b)解压缩# tar ‐zxvf /cmake‐3.0.2.tar.gz ‐C /c)进入目录# cd /cmake‐3.0.2d)安装# ./bootstrap# make# make install11.hadoop源码包a)下载/apache/hadoop/common/hadoop‐2.4.0/b)解压缩# tar ‐zxvf /hadoop‐2.4.0‐src.tar.gz ‐C /12.编译本地库a)进入hadoop源码目录# cd /hadoop‐2.4.0‐srcb)下载所需资源# mvn clean install ‐DskipTestsc)编译# mvn package ‐Pdist,native ‐DskipTests ‐Dtar编译成功d)替换32位本地库用/hadoop‐2.4.0‐src/hadoop‐dist/target/hadoop‐2.4.0/lib/下的native目录替换掉/usr/local/hadoop‐2.4.0/lib下的native目录e)重新生成快捷方式# rm ‐rf /usr/local/hadoop‐2.4.0/lib/native/libhadoop.so# rm ‐rf /usr/local/hadoop‐2.4.0/lib/native/libhdfs.so# ln ‐s /usr/local/hadoop‐2.4.0/lib/native/libhadoop.so.1.0.0/usr/local/hadoop‐2.4.0/lib/native/libhadoop.so# ln ‐s /usr/local/hadoop‐2.4.0/lib/native/libhdfs.so.0.0.0/usr/local/hadoop‐2.4.0/lib/native/libhdfs.sochown -R hduser:hduser /usr/local/# chown ‐R hduser:hduser /usr/local/hadoop‐2.4.0/lib/native/配置（在15主机上）使用hduser用户# su hduser1.配置JDK环境a)hadoop‐env.sh$ vi /usr/local/hadoop‐2.4.0/etc/hadoop/hadoop‐env.shexport JAVA_HOME=${JAVA_HOME}修改为export JAVA_HOME=/usr/local/jdk1.6.0_25b)yarn‐env.sh$ vi /usr/local/hadoop‐2.4.0/etc/hadoop/yarn‐env.sh# export JAVA_HOME=/home/y/libexec/jdk1.6.0/修改为export JAVA_HOME=/usr/local/jdk1.6.0_252.修改core‐site.xml$vi /usr/local/hadoop‐2.4.0/etc/hadoop/core‐site.xml在<configuration></configuration>之间添加如下内容：<property><name>fs.defaultFS</name><value>hdfs://ns1</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop‐2.4.0/tmp</value></property><property><name>ha.zookeeper.quorum</name><value>h15:2181,h16:2181,h17:2181</value></property><property><name>io.native.lib.available</name><value>true</value><description>Should native hadoop libraries, if present, be used.</description></property>3.修改hdfs‐site.xml$vi /usr/local/hadoop‐2.4.0/etc/hadoop/hdfs‐site.xml在<configuration></configuration>之间添加如下内容：<property><name>hbase.rootdir</name><value>hdfs://ns1/hbase</value></property><property><name>services</name><value>ns1</value></property><property><name>nodes.ns1</name><value>nn1,nn2</value></property><property><name>node.rpc‐address.ns1.nn1</name><value>h15:9000</value></property><property><name>node.http‐address.ns1.nn1</name><value>h15:50070</value></property><property><name>node.rpc‐address.ns1.nn2</name><value>h16:9000</value></property><property><name>node.http‐address.ns1.nn2</name><value>h16:50070</value></property><property><name>node.shared.edits.dir</name><value>qjournal://h15:8485;h16:8485;h17:8485/ns1</value></property><property><name>dfs.journalnode.edits.dir</name><value>/usr/local/hadoop‐2.4.0/journal</value></property><property><name>dfs.ha.automatic‐failover.enabled</name><value>true</value></property><property><name>dfs.client.failover.proxy.provider.ns1</name><value>node.ha.ConfiguredFailoverProxyProvider</val ue></property><property><name>dfs.ha.fencing.methods</name><value>sshfence</value></property><property><name>dfs.ha.fencing.ssh.private‐key‐files</name><value>/home/hduser/.ssh/id_rsa</value></property>4.修改mapred‐site.xmla)将mapred‐site.xml.template重命名为mapred‐site.xml$mv /usr/local/hadoop‐2.4.0/etc/hadoop/mapred‐site.xml.template /usr/local/hadoop‐2.4.0/etc/hadoop/mapred‐site.xmlb)修改mapred‐site.xml$vi /usr/local/hadoop‐2.4.0/etc/hadoop/mapred‐site.xml在<configuration></configuration>之间添加如下内容：<property><name></name><value>yarn</value></property><!‐‐ mapreduce jobhistory config‐‐><property><name>mapreduce.jobhistory.address</name><value>h15:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>h15:19888</value></property><property><name>mapreduce.jobhistory.joblist.cache.size</name><value>20000</value></property>5.修改yarn‐site.xml$vi /usr/local/hadoop‐2.4.0/etc/hadoop/yarn‐site.xml在<configuration></configuration>之间添加如下内容：<!‐‐ nodemanager config ‐‐><property><name>yarn.nodemanager.aux‐services</name><value>mapreduce_shuffle</value></property><!‐‐ resourcemanager config ‐‐><property><name>yarn.resourcemanager.connect.retry‐interval.ms</name><value>2000</value></property><property><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property><property><name>yarn.resourcemanager.ha.automatic‐failover.enabled</name><value>true</value></property><property><name>yarn.resourcemanager.ha.automatic‐failover.embedded</name><value>true</value></property><property><name>yarn.resourcemanager.cluster‐id</name><value>yarn‐cluster</value></property><property><name>yarn.resourcemanager.ha.rm‐ids</name><value>rm1,rm2</value></property><property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</ value></property><property><name>yarn.resourcemanager.recovery.enabled</name><value>true</value></property><property><name>yarn.app.mapreduce.am.scheduler.connection.wait.interval‐ms</name><value>5000</value></property><!‐‐ ZKRMStateStore config ‐‐><property><name>yarn.resourcemanager.store.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</va lue></property><property><name>yarn.resourcemanager.zk‐address</name><value>h15:2181,h16:2181,h17:2181</value></property><property><name>yarn.resourcemanager.zk.state‐store.address</name><value>h15:2181,h16:2181,h17:2181</value></property><!‐‐ applications manager interface ‐‐><property><name>yarn.resourcemanager.address.rm1</name><value>h15:23140</value></property><property><name>yarn.resourcemanager.address.rm2</name><value>h16:23140</value></property><!‐‐ scheduler interface ‐‐><property><name>yarn.resourcemanager.scheduler.address.rm1</name><value>h15:23130</value></property><property><name>yarn.resourcemanager.scheduler.address.rm2</name><value>h16:23130</value></property><!‐‐ RM admin interface ‐‐><property><name>yarn.resourcemanager.admin.address.rm1</name><value>h15:23141</value></property><property><name>yarn.resourcemanager.admin.address.rm2</name><value>h16:23141</value></property><!‐‐ RM resource‐tracker interface ‐‐><property><name>yarn.resourcemanager.resource‐tracker.address.rm1</name> <value>h15:23125</value></property><property><name>yarn.resourcemanager.resource‐tracker.address.rm2</name> <value>h16:23125</value></property><!‐‐ RM web application interface ‐‐><property><name>yarn.resourcemanager.webapp.address.rm1</name><value>h15:23188</value></property><property><name>yarn.resourcemanager.webapp.address.rm2</name><value>h16:23188</value></property><property><name>yarn.resourcemanager.webapp.https.address.rm1</name><value>h15:23189</value></property><property><name>yarn.resourcemanager.webapp.https.address.rm2</name><value>h16:23189</value></property>6.修改slaves$ vi /usr/local/hadoop‐2.4.0/etc/hadoop/slaves内容如下：h15h16h17在16、17主机上安装1.拷贝目录：15主机：$ scp ‐r /usr/local/hadoop‐2.4.0/ hduser@10.12.34.16:/usr/local/$ scp ‐r /usr/local/hadoop‐2.4.0/ hduser@10.12.34.17:/usr/local/初始化1.确保zookeeper已经启动2.进入目录$ cd /usr/local/hadoop‐2.4.0/3.创建命名空间15主机：$./bin/hdfs zkfc ‐formatZK4.启动 journalnode15、16、17主机：$./sbin/hadoop‐daemon.sh start journalnode5.格式化namenode和journalnode目录15主机：$./bin/hadoop namenode ‐format ns16.启动主namenode进程15主机：$./sbin/hadoop‐daemon.sh start namenode7.格式化备namenode（格式化目录，而元数据则从主namenode拷贝）并启动备namenode进程16主机：$./bin/hdfs namenode –bootstrapStandby$./sbin/hadoop‐daemon.sh start namenode8.启动ZKFC15、16主机：$./sbin/hadoop-daemon.sh start zkfc9.启动datanode15、16、17主机：$./sbin/hadoop-daemon.sh start datanode启动进入目录$ cd /usr/local/hadoop‐2.4.0/一、启动HDFS1.启动 journalnode15、16、17主机：$ ./sbin/hadoop‐daemon.sh start journalnode2.启动namenode15、16主机：$./sbin/hadoop‐daemon.sh start namenode3.启动datanode15、16、17主机：$ ./sbin/hadoop-daemon.sh start datanode4.启动ZKFC15、16主机：$./sbin/hadoop-daemon.sh start zkfc二、启动Yarn1.启动resourcemanager15、16主机：$./sbin/yarn‐daemon.sh start resourcemanager2. 启动nodemanager15、16、17主机：$ ./sbin/yarn‐daemon.sh start nodemanager三、启动mapreduce jobhistory15主机：$ ./sbin/mr-jobhistory-daemon.sh start historyserver验证一、 HDFS1.Active节点，使用浏览器访问http://10.12.34.15:50070/2. StandBy节点，使用浏览器访问http://10.12.34.16:50070/二、Yarn1.Active节点，使用浏览器访问http://10.12.34.15:23188/cluster/cluster2. StandBy节点a) 使用浏览器访问http://10.12.34.16:23188b) 使用浏览器访问http://10.12.34.16:23188/cluster/cluster三、Jobhistory使用浏览器访问http://10.12.34.15:19888Hbase使用hduser用户# su hduser安装（在15主机上）1.下载/apache‐mirror/hbase/2.解压缩$ tar ‐zxvf /hbase‐0.98.5‐hadoop2‐bin.tar.gz ‐C /usr/local/配置（在15主机上）1.修改hbase‐env.sh$ vi /usr/local/hbase‐0.98.5‐hadoop2/conf/hbase‐env.sha)配置JDK# export JAVA_HOME=/usr/java/jdk1.6.0/修改为export JAVA_HOME=/usr/local/jdk1.6.0_25b)禁用自带zookeeper# export HBASE_MANAGES_ZK=true修改为export HBASE_MANAGES_ZK=false2.修改hbase‐site.xml$ vi /usr/local/hbase‐0.98.5‐hadoop2/conf/hbase‐site.xml在<configuration></configuration>之间添加如下内容：<property><name>hbase.rootdir</name><value>hdfs://ns1/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.master</name><value>h15:60000</value></property><property><name>hbase.master.port</name><value>60000</value></property><property><name>hbase.zookeeper.quorum</name><value>h15,h16,h17</value></property><property><name>hbase.zookeeper.property.clientPort</name><value>2181</value><description>property from zookeeper zoo.cfg.</description></property>3.新增文件hdfs‐site.xml拷贝hadoop的hdfs‐site.xml：$ cp /usr/local/hadoop‐2.4.0/etc/hadoop/hdfs‐site.xml /usr/local/hbase‐0.98.5‐hadoop2/conf/4.新增文件core‐site.xml拷贝hadoop的core‐site.xml：$ cp /usr/local/hadoop‐2.4.0/etc/hadoop/core‐site.xml /usr/local/hbase‐0.98.5‐hadoop2/conf/5.新增文件backup‐masters$ vi /usr/local/hbase‐0.98.5‐hadoop2/conf/backup‐masters内容如下：h166.修改regionservers$ vi /usr/local/hbase‐0.98.5‐hadoop2/conf/regionservers内容如下：h15h16h17在16、17主机上安装1.拷贝目录15主机：$ scp ‐r /usr/local/hbase‐0.98.5‐hadoop2/ hduser@10.12.34.16:/usr/local/$ scp ‐r /usr/local/hbase‐0.98.5‐hadoop2/ hduser@10.12.34.17:/usr/local/启动1.在15主机上$ cd /usr/local/hbase‐0.98.5‐hadoop2/$./bin/start‐hbase.sh验证hadoop hdfs[hduser@h15 hadoop‐2.4.0]$ ./bin/hadoop fs ‐ls hdfs://10.12.34.15:9000/Found 4 itemsdrwxr‐xr‐x ‐ hduser supergroup 0 2014‐09‐10 16:30 hdfs://10.12.34.15:9000/hbasedrwxr‐xr‐x ‐ hduser supergroup 0 2014‐09‐05 13:31 hdfs://10.12.34.15:9000/hivedrwx‐‐‐‐‐‐ ‐ hduser supergroup 0 2014‐09‐05 13:32 hdfs://10.12.34.15:9000/tmpdrwxr‐xr‐x ‐ hduser supergroup 0 2014‐09‐05 11:42 hdfs://10.12.34.15:9000/user验证 证 Hbase Hi ive 注：在 15,16,17 分别执行以 以下所有步骤，并且在 14 4 上安装 MYS SQL 数据库，mysql 安装过程 就不 不详述了，常 常规安装即可 可。