hadoop 2.6.0详细安装过程和实例(有截图)
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu_CentOS
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS本教程讲述如何配置Hadoop 集群，默认读者已经掌握了Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置。
本教程由厦门大学数据库实验室出品，转载请注明。
本教程适合于原生Hadoop 2，包括Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行Hadoop。
另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。
为了方便新手入门，我们准备了两篇不同系统的Hadoop 伪分布式配置教程。
但其他Hadoop 教程我们将不再区分，可同时适用于Ubuntu 和CentOS/RedHat 系统。
例如本教程以Ubuntu 系统为主要演示环境，但对Ubuntu/CentOS 的不同配置之处、CentOS 6.x 与CentOS 7 的操作区别等都会尽量给出注明。
环境本教程使用Ubuntu 14.04 64位作为系统环境，基于原生Hadoop 2，在Hadoop 2.6.0 (stable)版本下验证通过，可适合任何Hadoop 2.x.y 版本，例如Hadoop 2.7.1，Hadoop 2.4.1 等。
本教程简单的使用两个节点作为集群环境: 一个作为Master 节点，局域网IP 为192.168.1.121；另一个作为Slave 节点，局域网IP 为192.168.1.122。
准备工作Hadoop 集群的安装配置大致为如下流程:1.选定一台机器作为Master2.在Master 节点上配置hadoop 用户、安装SSH server、安装Java 环境3.在Master 节点上安装Hadoop，并完成配置4.在其他Slave 节点上配置hadoop 用户、安装SSH server、安装Java 环境5.将Master 节点上的/usr/local/hadoop 目录复制到其他Slave 节点上6.在Master 节点上开启Hadoop配置hadoop 用户、安装SSH server、安装Java 环境、安装Hadoop 等过程已经在Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置中有详细介绍，请前往查看，不再重复叙述。
centos下hadoop2.6.0配置
Hadoop-2.6.0配置前面的部分跟配置Hadoop-1.2.1的一样就可以，什么都不用变，完全参考文档1即可。
下面的部分就按照下面的做就可以了。
hadoop-2.6.0的版本用张老师的。
下面的配置Hadoop hadoop-2.6.0的部分1.修改hadoop-2.6.0/etc/hadoop/hadoop-env.sh，添加JDK支持：export JAVA_HOME=/usr/java/jdk1.6.0_45如果不知道你的JDK目录，使用命令echo $JAVA_HOME查看。
2.修改hadoop-2.6.0/etc/hadoop/core-site.xml注意：必须加在<configuration></configuration>节点内<configuration><property><name>hadoop.tmp.dir</name><value>/home/hadoop/hadoop-2.6.0/tmp</value><description>Abase for other temporary directories.</description></property><property><name></name><value>hdfs://master:9000</value></property></configuration>3.修改hadoop-2.6.0/etc/hadoop/hdfs-site.xml<property><name>.dir</name><value>/home/hadoop/hadoop-2.6.0/dfs/name</value><description>Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently.</description></property><property><name>dfs.data.dir</name><value>/home/hadoop/hadoop-2.6.0/dfs/data</value><description>Comma separated list of paths on the local filesystem of a DataNode where it should store its blocks.</description></property><property><name>dfs.replication</name><value>1</value></property>4.修改hadoop-2.6.0/etc/hadoop/mapred-site.xml<property><name>mapred.job.tracker</name><value>master:9001</value><description>Host or IP and port of JobTracker.</description></property>5. 修改hadoop-2.6.0/etc/hadoop/masters列出所有的master节点：master6.修改hadoop-2.6.0/etc/hadoop/slaves这个是所有datanode的机器，例如：slave1slave2slave3slave47.将master结点上配置好的hadoop文件夹拷贝到所有的slave结点上以slave1为例：命令如下：scp -r ~/hadoop-2.6.0slave1:~/安装完成后，我们要格式化HDFS然后启动集群所有节点。
在linux中安装Hadoop教程-伪分布式配置-Hadoop2.6.0-Ubuntu14.04
在linux中安装Hadoop教程-伪分布式配置-Hadoop2.6.0-Ubuntu14.04注：该教程转⾃厦门⼤学⼤数据课程学习总结装好了 Ubuntu 系统之后，在安装 Hadoop 前还需要做⼀些必备⼯作。
创建hadoop⽤户如果你安装 Ubuntu 的时候不是⽤的 “hadoop” ⽤户，那么需要增加⼀个名为 hadoop 的⽤户。
⾸先按 ctrl+alt+t 打开终端窗⼝，输⼊如下命令创建新⽤户 : sudo useradd -m hadoop -s /bin/bash这条命令创建了可以登陆的 hadoop ⽤户，并使⽤ /bin/bash 作为 shell。
sudo命令 本⽂中会⼤量使⽤到sudo命令。
sudo是ubuntu中⼀种权限管理机制，管理员可以授权给⼀些普通⽤户去执⾏⼀些需要root权限执⾏的操作。
当使⽤sudo命令时，就需要输⼊您当前⽤户的密码.密码 在Linux的终端中输⼊密码，终端是不会显⽰任何你当前输⼊的密码，也不会提⽰你已经输⼊了多少字符密码。
⽽在windows系统中,输⼊密码⼀般都会以“*”表⽰你输⼊的密码字符 接着使⽤如下命令设置密码，可简单设置为 hadoop，按提⽰输⼊两次密码： sudo passwd hadoop可为 hadoop ⽤户增加管理员权限，⽅便部署，避免⼀些对新⼿来说⽐较棘⼿的权限问题： sudo adduser hadoop sudo最后注销当前⽤户（点击屏幕右上⾓的齿轮，选择注销），返回登陆界⾯。
在登陆界⾯中选择刚创建的 hadoop ⽤户进⾏登陆。
更新apt⽤ hadoop ⽤户登录后，我们先更新⼀下 apt，后续我们使⽤ apt 安装软件，如果没更新可能有⼀些软件安装不了。
按 ctrl+alt+t 打开终端窗⼝，执⾏如下命令： sudo apt-get update后续需要更改⼀些配置⽂件，我⽐较喜欢⽤的是 vim（vi增强版，基本⽤法相同） sudo apt-get install vim安装SSH、配置SSH⽆密码登陆集群、单节点模式都需要⽤到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上⾯运⾏命令），Ubuntu 默认已安装了SSH client，此外还需要安装 SSH server： sudo apt-get install openssh-server安装后，配置SSH⽆密码登陆利⽤ ssh-keygen ⽣成密钥，并将密钥加⼊到授权中： exit # 退出刚才的 ssh localhost cd ~/.ssh/ # 若没有该⽬录，请先执⾏⼀次ssh localhost ssh-keygen -t rsa # 会有提⽰，都按回车就可以 cat ./id_rsa.pub >> ./authorized_keys # 加⼊授权此时再⽤ssh localhost命令，⽆需输⼊密码就可以直接登陆了。
简单梳理hadoop安装流程文字
简单梳理Hadoop安装流程
今儿个咱们来简单梳理下Hadoop的安装流程，让各位在四川的兄弟姐妹也能轻松上手。
首先，你得有个Linux系统，比如说CentOS或者Ubuntu，这点很重要。
然后在系统上整个Java环境，Hadoop 是依赖Java运行的。
把JDK下载安装好后，记得配置下环境变量，就是修改`/etc/profile`文件，把Java的安装路径加进去。
接下来，你需要在系统上整个SSH服务，Hadoop集群内部的通信要用到。
安好SSH后，记得配置下无密钥登录，省得每次登录都要输密码，多麻烦。
Hadoop的安装包可以通过官方渠道下载，也可以在网上找现成的。
下载好安装包后，解压到你的安装目录。
然后就开始配置Hadoop的环境变量，跟配置Java环境变量一样，也是在
`/etc/profile`文件里加路径。
配置Hadoop的文件是重点，都在Hadoop安装目录下的`etc/hadoop`文件夹里。
有`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`这些文件需要修改。
比如`core-site.xml`里要设置HDFS的地址和端口，`hdfs-site.xml`里要设置临时目录这些。
最后，就可以开始格式化HDFS了，用`hdfs namenode-format`命令。
然后启动Hadoop，用`start-all.sh`脚本。
如果一
切配置正确，你就可以用`jps`命令看到Hadoop的各个进程在运行了。
这整个过程看似复杂，但只要你跟着步骤来，注意配置文件的路径和内容，相信你也能轻松搞定Hadoop的安装。
Hadoop的安装与配置及示例wordcount的运行
Hadoop的安装与配置及示例程序wordcount的运行目录前言 (1)1 机器配置说明 (2)2 查看机器间是否能相互通信（使用ping命令） (2)3 ssh设置及关闭防火墙 (2)1）fedora装好后默认启动sshd服务，如果不确定的话可以查一下[garon@hzau01 ~]$ service sshd status (3)2）关闭防火墙（NameNode和DataNode都必须关闭） (3)4 安装jdk1.6(集群中机子都一样) (3)5 安装hadoop(集群中机子都一样) (4)6 配置hadoop (4)1）配置JA V A环境 (4)2）配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件 (5)3）将NameNode上完整的hadoop拷贝到DataNode上，可先将其进行压缩后直接scp 过去或是用盘拷贝过去 (7)4）配置NameNode上的conf/masters和conf/slaves (7)7 运行hadoop (7)1）格式化文件系统 (7)2）启动hadoop (7)3）用jps命令查看进程，NameNode上的结果如下： (8)4）查看集群状态 (8)8 运行Wordcount.java程序 (8)1）先在本地磁盘上建立两个文件f1和f2 (8)2）在hdfs上建立一个input目录 (9)3）将f1和f2拷贝到hdfs的input目录下 (9)4）查看hdfs上有没有f1,f2 (9)5)执行wordcount（确保hdfs上没有output目录） (9)6）运行完成，查看结果 (9)前言最近在学习Hadoop，文章只是记录我的学习过程，难免有不足甚至是错误之处，请大家谅解并指正！Hadoop版本是最新发布的Hadoop-0.21.0版本，其中一些Hadoop命令已发生变化，为方便以后学习，这里均采用最新命令。
hadoop2.6完全分布式安装
系统准备Hadoop完全分布式安装，服务器最好都是基数，我用了三台虚拟机。
hadoop2.6.0完全分布式masterhadoop2.6.0完全分布式salves01hadoop2.6.0完全分布式salves02系统环境设置修改虚拟机的主机名称代码如下：1、修改第一台虚拟机vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=masterGAREWAY=192.168.83.22、修改第一台虚拟机vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=salves01GAREWAY=192.168.83.23、修改第一台虚拟机vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=salves02GAREWAY=192.168.83.2配置IP地址1、修改第一台服务器vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0#HWADDR=00:0C:29:8C:FB:39TYPE=EthernetUUID=92d31d5c-369a-4e3d-8fbc-140ef4ff3ec3 ONBOOT=yes //虚拟机启动时就启动网络NM_CONTROLLED=yesBOOTPROTO=staticIPADDR=192.168.83.100GATEWAY=192.168.83.2NETMASK=255.255.255.0DNS1=192.168.83.22、修改第二台服务器vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0#HWADDR=00:0C:29:8C:FB:39TYPE=EthernetUUID=92d31d5c-369a-4e3d-8fbc-140ef4ff3ec3 ONBOOT=yes //虚拟机启动时就启动网络NM_CONTROLLED=yesBOOTPROTO=staticIPADDR=192.168.83.101GATEWAY=192.168.83.2NETMASK=255.255.255.0DNS1=192.168.83.23、修改第三台服务器vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0#HWADDR=00:0C:29:8C:FB:39TYPE=EthernetUUID=92d31d5c-369a-4e3d-8fbc-140ef4ff3ec3 ONBOOT=yes //虚拟机启动时就启动网络NM_CONTROLLED=yesBOOTPROTO=staticIPADDR=192.168.83.102GATEWAY=192.168.83.2NETMASK=255.255.255.0DNS1=192.168.83.2service network restart //使配置的ip起作用修改主机名和IP的映射关系以及其他虚拟机的关系（hosts）vim /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.83.100 master192.168.83.101 salves01192.168.83.102 salves02三台虚拟机都需要配置，三台虚拟机的hosts一样关闭防火墙三台虚拟机都需要关闭防火墙重启系统安装jdk准备jdk在网上下载64位的jdk，下载好了之后上传到虚拟机中在Ubuntu下切换到root用户解压jdk(jdk-7u55-linux-x64.tar.gz)代码如下：配置坏境变量代码如下：重启/etc/profile代码如下：查看是否配置成功(jdk的版本) java –version统默认自己配置的jdk代码如下：配置ssh免密码登录代码如下：ssh-keygen -t rsa//创建keycat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys//把key写在authorized_keys中ll ~/.ssh/authorized_keys//查看是否有这个文件chmod 600 authorized_keys//给这个文件赋予权限ssh localhost //执行切换，看是否是免密码登录把三台服务器中的id_rsa.pub（key），分别加入三台服务器中的authorized_keys文件中，打通三台服务器免密码登录。
hadoop 2.6.0详细安装过程和实例(有截图)
Hadoop 环境搭建时间：2015—07—26作者：周乐相环境搭建之前准备工作我的笔记本配置:硬盘：500G （实际上用不完）CPU: Intel(R) Core(TM）i5-2450M CPU @ 2。
50GHz内存：10G操作系统：WIN7 (64位)软件准备1)。
虚拟机软件：vmwareworkstation64.exe （VMware work station 64 bit V 11。
0）2）. Linux 版本: Red Hat Enterprise Linux Server release 6.5 （Santiago）（rhel-server-6.5—x86_64-dvd.iso)3）. hadoop 版本： hadoop—2.6。
0。
tar。
gz4)。
JAVA 版本：java version "1。
6.0_32" （jdk—6u32-linux-x64.bin)安装VMware 软件傻瓜操作下一步。
安装Linux操作系统傻瓜操作下一步。
...。
安装完成.1)。
创建hadoop操作系统安装hadoop的用户第一台操作系统命主机名为: master2) 拷贝该虚拟机master 分别为node01 、node02 两个节点数3）分别对拷贝的node01 、node02 修改IP和主机名称主机名: IPmaster : 192。
168.2。
50node01: 192.168.2.51node02: 192。
168.2.52jdk安装并设置好环境变量＃＃设置JAVA_HOME环境变量配置ssh 免密码通信三台服务器SSH关系上面这个图可以表达这三台服务器之间的关系.对master主节点SSH配置执行：ssh-keygen –t dsa 回车一直回车下去会在＄HOME/。
ssh目录生成id_dsa 和id_dsa.pub两个文件将id_dsa。
pub文件放到authorized_keys文件，注意需要修改权限chmod 600 authorized_keys依次将node01、node02两台的密码追加到authorized_keys 文件里面对node01节点SSH配置这样master与node01就可以正常的互通无需密码对node02节点SSH配置这样master与node02就可以正常的互通无需密码Hadoop安装配置修改配置文件用红线框起来的都需要修改配置修改：mapred-site。
(完整word版)Hadoop 2.6.0分布式部署参考手册
Hadoop 2。
6.0分布式部署参考手册1。
环境说明 (2)1。
1安装环境说明 (2)2。
2 Hadoop集群环境说明: (2)2。
基础环境安装及配置 (2)2.1 添加hadoop用户 (2)2.2 JDK 1.7安装 (2)2.3 SSH无密码登陆配置 (3)2.4 修改hosts映射文件 (3)3.Hadoop安装及配置 (4)3.1 通用部分安装及配置 (4)3。
2 各节点配置 (4)4。
格式化/启动集群 (4)4.1 格式化集群HDFS文件系统 (4)4。
2启动Hadoop集群 (4)附录1 关键配置内容参考 (5)1 core-site.xml (5)2 hdfs-site。
xml (5)3 mapred—site.xml (6)4 yarn-site。
xml (6)5 hadoop-env。
sh (6)6 slaves (6)附录2 详细配置内容参考 (7)1 core-site.xml (7)2 hdfs-site.xml (7)3 mapred—site。
xml (8)4 yarn-site。
xml (9)5 hadoop-env。
sh (12)6 slaves (12)附录3 详细配置参数参考 (12)conf/core—site.xml (12)conf/hdfs-site。
xml (12)o Configurations for NameNode: (12)o Configurations for DataNode： (13)conf/yarn—site。
xml (13)o Configurations for ResourceManager and NodeManager： (13)o Configurations for ResourceManager： (13)o Configurations for NodeManager： (15)o Configurations for History Server （Needs to be moved elsewhere）: 16 conf/mapred—site.xml (16)o Configurations for MapReduce Applications： (16)o Configurations for MapReduce JobHistory Server: (16)1。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Hadｏｏp环境搭建
时间：20１5-０７-２6
作者:周乐相
环境搭建之前准备工作
我的笔记本配置：
硬盘:５00G (实际上用不完)
CPU： Inｔel（R）Cｏre(ＴM) i5-2450M ＣPＵ@ 2.50GＨz
内存：1０G
操作系统：WIN７(64位)
软件准备
1). 虚拟机软件:ｖｍｗareworkｓtａtion64.eｘe （VMｗare wｏｒk stａｔion 6４ｂit V １1.０)
２)．Lｉnｕx 版本: Red HatＥｎterpｒise Linｕx Sｅrver ｒeｌeａｓ
e 6.5 （Santiago) (ｒhｅl-server-6.5－ｘ8６_64－ｄｖd.iso)
3).hadoop 版本： hadoop-２.6.0.ｔaｒ．gz
4）. JAVＡ版本：java vｅrｓiｏｎ"1.6．0_3２"(jdk－６u3２-linux－x64.ｂin）
安装ＶMwarｅ软件
傻瓜操作下一步。
安装Lｉnux操作系统
傻瓜操作下一步。
安装完成。
1）.创建hadoop操作系统安装hadoｏp的用户第一台操作系统命主机名为: mａsｔer
2）拷贝该虚拟机maｓter 分别为noｄe01 、nｏｄe0２两个节点数
3) 分别对拷贝的node01、ｎoｄｅ02 修改IP和主机名称主机名: ＩP
mastｅr: １92．168．2.50
nodｅ0１:192.168.2.51
node02: 192.１６８.2.５2
jdｋ安装
并设置好环境变量
#＃设置JAＶＡ_HOME环境变量
配置ssh 免密码通信
三台服务器SSH关系
上面这个图可以表达这三台服务器之间的关系。
对maｓter主节点SSH配置
执行：ssｈ-ｋeyｇeｎ–t dsa 回车一直回车下去会在$HOME/．ｓsｈ目录生成id_dsa和id_dsa.pu ｂ两个文件
将ｉd_dsa．pub文件放到auｔｈorizｅd_ｋeys文件,注意需要修改权限cｈmｏd 6０0 authｏrizeｄ＿keys
依次将node01、node02两台的密码追加到aｕthｏriｚed_keys 文件里面
对ｎod e0１节点SSＨ配置
这样master与node01就可以正常的互通无需密码对node０2节点SSH配置
这样ｍａster与node02就可以正常的互通无需密码Ｈadoop安装配置
修改配置文件
用红线框起来的都需要修改配置
修改:mapｒed-siｔe.xmｌ
修改:yａrｎ-siｔｅ.ｘml
修改:hadoｏp-enｖ.sh
修改:ｍapred-ｅnv．sh
修改:yarn-env．sh
修改：masｔeｒ&sｌａves
创建空文件夹
节点数据拷贝
对节点ｎoｄe01、ｎode0２数据文件拷备
在mａsteｒ节点格式化
Hadoｏp启动&停止Hａdoop启动
后台查看
前台查看
Hadoop停止
Ｈadoop应用
实例：ＷoｒdCｏｕｎt 执行前
执行之后
后台查看
前台浏览器查看。