Windows下使用Hadoop安装与测试实例
Windows下使用Hadoop0.20.2实例1.1 Windows 下使用Hadoop 的环境配置（1）安装Hadoop 前，首先需要安装Cygwin首先下载Cygwin(/install.html)，当setup.exe 下载成功后，直接运行，在弹出的“Cygwin Net Release Setup Program”的对话框中直接点击“下一步”，选择“download source”如下：选择“Install from Internet”，进入下图所示对话框:设置Cygwin 的安装目录，Install For 选择“All Users”，Default Text File Type 选择“Unix/binary”。
“下一步”之后，设置Cygwin 安装包存放目录：设置“Internet Connection”的方式，选择“Direct Connection”：之后选择“Download site”：选择最好选.cn结尾的，若无可以随意选择，若安装失败可多尝试几个。
“下一步”之后，可能会弹出下图的“Setup Alert”对话框，直接“确定”即可。
在上图所示的对话框过程中，可能会弹出如下图所示的“Setup Alert”对话框，直接点击“确定”即可。
进入“Select Packages”对话框，必须保证“Net Category”下的“OpenSSL”被安装：安装中需要选中Net category 中的openssh，如下图所示：如果还打算在eclipse上编译Hadoop，则还必须安装“Base Category”下的“sed”，如下图所示：另外，安装“Editors Category”下的vim，以方便在Cygwin上直接修改配置文件；“Devel Category”下的subversion建议安装，如下图所示：安装完成后进行环境变量的配置。
（2）安装JDK（3）配置Windows 系统变量新建系统变量CYGWIN，变量值为ntsec编辑系统变量里的Path 变量，将JDK的bin目录、Cygwin的bin目录以及Cygwin的usr\sbin目录加入到Path变量中。
(e:\cygwin64,e:\cygwin64\usr\sbin)新建系统变量JA V A_HOME，变量指向JRE安装目录。
（4）安装配置ssh启动cygwin，执行命令：$ ssh-host-config。
当询问"Should privilege separation be used"时，输入no；当询问"Do you want to install sshd as a service？"选yes；当提示"Enterthe value of CYGWIN for the daemon：［］"时，选择ntsec。
(好像没出现ntsec)当看到“Have fun”时，一般表示sshd 服务安装成功了。
输入命令$ net start sshd，启动SSH，或者在Windows 服务项里启动CYGWIN sshd。
注意：SSH无法启动的解决方法：解决方案：按上图配置命令的提示说明，需要执行mkpasswd 和mkgroup重新生成权限信息依次执行下面命令$ mkpasswd -l > /etc/passwd$ mkgroup -l > /etc/group$ cygrunsrv -R sshd 删除ssd服务$ ssh-host-config -y 重新配置$ cygrunsrv -S sshd 启动服务。
sshd服务启动成功。
(注意：sshd在cyg_server帐户下运行)然后执行$ ssh-keygen来生成密钥对，然后一直回车键确定。
这样会把生产的密钥对保存在．ssh 目录下。
使用命令将RSA 公钥加入到公钥授权文件authorized＿keys 中：$ cd /home/Administrator/.ssh$ cat id_rsa.pub >> authorized_keys最后执行$ ssh localhost，就可以实现无需密码的SSH 连接。
完成上述操作后，执行exit命令先退出Cygwin窗口。
执行ssh localhost时，会有如下图所示的提示，输入yes，然后回车即可：如果不是第一次执行则会出现如下对话框：成功启动ssh服务。
1.2 安装Hadoop将Hadoop安装包（在此使用的是hadoop-0.20.2,相关apache软件下载地址：/dist/）解压到你自己选择的目录(e:\hadoop)，然后需要修改hadoop 的配置文件，它们位于conf 子目录下，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml 和mapred-site.xml 共四个文件。
1.2.1修改hadoop-env.sh只需要将JA V A_HOME 修改成JDK 的安装目录即可，需要注意两点：(1) JDK 必须是1.6 或以上版本；(2) 设置JDK 的安装目录时，路径不能是Windows 风格的目录例如：C:\jdk1.7，而是LINUX 风格：/cygdrive/c/jdk1.7。
因此在hadoop-env.sh 中设定JDK 的安装目录：export JA V A_HOME=/cygdrive/c/jdk1.7(注意删除-sun和export前面的注释“#”)1.2.2 修改core-site.xml为简化core-site.xml 配置，将src\core 目录下的core-default.xml文件复制到conf 目录下，并将core-default.xml文件名改成core-site.xml。
修改：<property><name>hadoop.tmp.dir</name><value>/hadoop/tmp</value><description>A base for other temporary directories.</description> </property><configuration><property><name></name><value>hdfs://localhost:9000</value></property></configuration>1.2.3 修改hdfs-site.xml为简化hdfs-site.xml 配置，将src\hdfs 目录下的hdfs-default.xml文件复制到conf 目录下，并将hdfs-default.xml 文件名改成hdfs-site.xml。
修改：<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>1.2.4 修改mapred-site.xml为简化mapred-site.xml 配置，将src\mapred 目录下的mapreddefault.xml 文件复制到conf 目录下，并将mapred-default.xml 文件名改成mapred-site.xml。
修改：<configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property></configuration>到此修改完成，然后启动hadoop。
1.3 启动hadoop在Cygwin 中，进入hadoop 的bin 目录，运行./hadoop namenode -format 做格式化处理（仅第一次需要），再运行./start-all.sh启动hadoop，在启动成功之后，可以执行./hadoop fs -ls /命令，查看hadoop 的根目录，如下图所示：首先我们要先启动sshd服务，然后登录：然后启动hadoop：我们可以验证是否启动成功：(./hadoop dfsadmin -report)也可以这样查看：http://127.0.0.1:50030/http://127.0.0.1:50070/最后，使用/bin/hadoop dfsadmin -safemode leave 命令使Hadoop退出安全模式。
有时在启动的时候会遇到一些问题，可能会出现这时需要关闭系统./stop-all.sh ,然后删除hadoop/tmp下所有文件与目录，重新格式化并启动系统。
至此，我们的Hadoop安装成功。
1.4 Hadoop运行wordcount实例运行WordCount 实例。
在本地文件系统上建立e:/hadoop/run/input目录，放入若干文件，文件为由多个单词组成（单词由空格分隔）的文本。
将文件复制到HDFS 的目录下，命名为input，并运行：$ bin/hadoop dfs -put run/input input没有内容输出就说明上传至文件系统成功。
运行：$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output $ bin/hadoop jar WordCount.jar input output2(WordCount.jar 为自定义类,参见后面插件部分)另需注：WordCount.jar\META-INF\MANIFET.MF:(内容)Manifest-Version: 1.0Ant-Version: Apache Ant 1.7.1Created-By: 10.0-b23 (Sun Microsystems Inc.)Main-Class: com/cyberware/WordCountoutput 为数据处理完成后输出目录，默认在Hadoop 根目录下。
任务执行完，用以下命令查看分布式文件系统上数据处理的结果：$ bin/hadoop dfs -cat output /* 或$ bin/hadoop fs -cat hdfs://localhost:9000/user/2012-20120728zh/administrator/input/file1.txt至此，完成wordcount实例的运行。
Windows 10 编译 hadoop详细步骤
Windows10下Hadoop一、下载相关软件包JDK 1.8Hadoop2.7.3 可使用JDK1.8或1.7Hadoop2.6.5用JDK1.7，1.8报错Maven 3.3.9下载地址：https:///download.cgiFindbugs 1.3.9下载地址：https:///projects/findbugs/files/findbugs/1.3.9/ProtocolBuffer 2.5.0（两个文件protobuf-2.5.0.zip 、protoc-2.5.0-win32.zip ）下载地址：https:///google/protobuf/releases/tag/v2.5.0Cmake 3.7.1（cmake-3.7.1-win64-x64.zip）下载地址：https:///download/Visual Studio 2015 Professional Update 3Zlib headers下载地址：/project/libpng/zlib/1.2.8/zlib128.zip GnuWin32 （Git-2.11.0-64-bit）下载地址：https://git-for-windows.github.io/Ant 1.9.8下载地址：/bindownload.cgi二、软件安装1、安装Visual Studio2、Git 安装验证安装成功方法：输入Linux命令ls 即可列出当前文件夹列表3、CMake 安装直接安装运行cmake-3.7.1-win64-x64.msi，采用默认配置即可4、配置环境变量◆配置JAVA_HOME◆配置Maven解压Maven到指定目录（D:\ apache-maven-3.3.9）新建系统变量M2_HOME=D:\apache-maven-3.3.9编辑系统变量Path，新建%M2_HOME%\bin◆Findbugs解压Findbugs到D:\findbugs-1.3.9编辑系统变量Path，新建D:\findbugs-1.3.9\bin◆ProtocolBuffer解压ProtocolBuffer到D:\protobuf-2.5.0\解压protoc-2.5.0-win32.zip，将protoc.exe复制到D:\protobuf-2.5.0\src目录下安装ProtocolBuffer，打开命令行cd D:\protobuf-2.5.0\javamvn testmvn install将protoc.exe所在路径D:\protobuf-2.5.0\src，添加到系统变量Pathprotoc–version验证是否安装成功◆Zlib解压Zlib到D:\zlib-1.2.8新建环境变量ZLIB_HOME=D:\zlib-1.2.8◆Ant解压Ant到D: \apache-ant-1.9.8新建环境变量ANT_HOME=D: \apache-ant-1.9.8Path中加入%ANT_HOME%\bin三、编译准备1、下载Hadoop源码并解压2、用VisualStudio 2015 分别打开，升级项目信息到2015E:\hadoop\hadoop-*-src\hadoop-common-project\hadoop-common\src\main\native\native.sln E:\hadoop\hadoop-*-src\hadoop-common-project\hadoop-common\src\main\winutils\winutils.sln3、E:\hadoop\hadoop-*-src\hadoop-hdfs-project\hadoop-hdfs\pom.xml将其中所有Visual Studio 10替换成Visual Studio 144、开始编译第一步、用管理员身份打开“VS2015 开发人员命令提示”第二步、命令行里面执行批处理"vcvarsx86_amd64.bat"切换进入D:\Program Files\Microsoft Visual Studio 14.0\VC\bin\x86_amd64目录执行vcvarsx86_amd64.bat，如下图：第三步、编译Hadoop切换进入Hadoop源码目录执行命令mvn package -Pdist,native-win -DskipTests–Dtar等待编译，出现如下提示，代表编译成功（maven有些包下不下来，可考虑搞个VPN）编译完成后的包在如下目录中注，hadoop2.6.5编译时会报一个错需修改一个类文件E:\hadoop\hadoop-2.6.5-src\hadoop-common-project\hadoop-annotations\src\main\java\org\apache\had oop\classification\InterfaceStability.java删掉红框部分。
Hadoop的安装与配置及示例wordcount的运行
Hadoop的安装与配置及示例程序wordcount的运行目录前言 (1)1 机器配置说明 (2)2 查看机器间是否能相互通信（使用ping命令） (2)3 ssh设置及关闭防火墙 (2)1）fedora装好后默认启动sshd服务，如果不确定的话可以查一下[garon@hzau01 ~]$ service sshd status (3)2）关闭防火墙（NameNode和DataNode都必须关闭） (3)4 安装jdk1.6(集群中机子都一样) (3)5 安装hadoop(集群中机子都一样) (4)6 配置hadoop (4)1）配置JA V A环境 (4)2）配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件 (5)3）将NameNode上完整的hadoop拷贝到DataNode上，可先将其进行压缩后直接scp 过去或是用盘拷贝过去 (7)4）配置NameNode上的conf/masters和conf/slaves (7)7 运行hadoop (7)1）格式化文件系统 (7)2）启动hadoop (7)3）用jps命令查看进程，NameNode上的结果如下： (8)4）查看集群状态 (8)8 运行Wordcount.java程序 (8)1）先在本地磁盘上建立两个文件f1和f2 (8)2）在hdfs上建立一个input目录 (9)3）将f1和f2拷贝到hdfs的input目录下 (9)4）查看hdfs上有没有f1,f2 (9)5)执行wordcount（确保hdfs上没有output目录） (9)6）运行完成，查看结果 (9)前言最近在学习Hadoop，文章只是记录我的学习过程，难免有不足甚至是错误之处，请大家谅解并指正！Hadoop版本是最新发布的Hadoop-0.21.0版本，其中一些Hadoop命令已发生变化，为方便以后学习，这里均采用最新命令。
Hadoop的安装与配置
Hadoop的安装与配置建立一个三台电脑的群组，操作系统均为Ubuntu，三个主机名分别为wjs1、wjs2、wjs3。
1、环境准备：所需要的软件及我使用的版本分别为：Hadoop版本为0.19.2，JDK版本为jdk-6u13-linux-i586.bin。
由于Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户。
所以在三台主机上都设置一个用户名为“wjs”的账户，主目录为/home/wjs。
a、配置三台机器的网络文件分别在三台机器上执行：sudo gedit /etc/network/interfaceswjs1机器上执行：在文件尾添加：auto eth0iface eth0 inet staticaddress 192.168.137.2gateway 192.168.137.1netmask 255.255.255.0wjs2和wjs3机器上分别执行：在文件尾添加：auto eth1iface eth1 inet staticaddress 192.168.137.3（wjs3上是address 192.168.137.4）gateway 192.168.137.1netmask 255.255.255.0b、重启网络：sudo /etc/init.d/networking restart查看ip是否配置成功：ifconfig{注：为了便于“wjs”用户能够修改系统设置访问系统文件，最好把“wjs”用户设为sudoers（有root权限的用户），具体做法：用已有的sudoer登录系统，执行sudo visudo -f /etc/sudoers,并在此文件中添加以下一行：wjsALL=(ALL)ALL,保存并退出。
}c、修改三台机器的/etc/hosts,让彼此的主机名称和ip都能顺利解析，在/etc/hosts中添加：192.168.137.2 wjs1192.168.137.3 wjs2192.168.137.4 wjs3d、由于Hadoop需要通过ssh服务在各个节点之间登陆并运行服务，因此必须确保安装Hadoop的各个节点之间网络的畅通，网络畅通的标准是每台机器的主机名和IP地址能够被所有机器正确解析（包括它自己）。
hadoop安装实验总结
hadoop安装实验总结Hadoop安装实验总结Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。
在本次实验中，我成功安装了Hadoop，并进行了相关的配置和测试。
以下是我对整个过程的总结和经验分享。
1. 环境准备在开始安装Hadoop之前，我们需要确保已经具备了以下几个环境条件：- 一台Linux操作系统的机器，推荐使用Ubuntu或CentOS。
- Java开发环境，Hadoop是基于Java开发的，因此需要安装JDK。
- SSH服务，Hadoop通过SSH协议进行节点之间的通信，因此需要确保SSH服务已启动。
2. 下载和安装Hadoop可以从Hadoop官方网站上下载最新的稳定版本。
下载完成后，解压缩到指定目录，并设置环境变量。
同时，还需要进行一些配置，包括修改配置文件和创建必要的目录。
3. 配置Hadoop集群Hadoop是一个分布式系统，通常会配置一个包含多个节点的集群。
在配置文件中，我们需要指定集群的各个节点的IP地址和端口号，并设置一些重要的参数，如数据存储路径、副本数量等。
此外，还可以根据实际需求调整其他配置参数，以优化集群性能。
4. 启动Hadoop集群在完成集群配置后，我们需要启动Hadoop集群。
这一过程需要先启动Hadoop的各个组件，包括NameNode、DataNode、ResourceManager和NodeManager等。
启动成功后，可以通过Web 界面查看集群的状态和运行情况。
5. 测试Hadoop集群为了验证Hadoop集群的正常运行，我们可以进行一些简单的测试。
例如，可以使用Hadoop提供的命令行工具上传和下载文件，查看文件的副本情况，或者运行一些MapReduce任务进行数据处理。
这些测试可以帮助我们了解集群的性能和可靠性。
6. 故障排除与优化在实际使用Hadoop时，可能会遇到一些故障和性能问题。
为了解决这些问题，我们可以通过查看日志文件或者使用Hadoop提供的工具进行故障排查。
Hadoop完全分布式详细安装过程
Hadoop详细安装过程一、本文思路1、安装虚拟化PC工具VMware，用于支撑Linux系统。
2、在VMware上安装Ubuntu系统。
3、安装Hadoop前的准备工作：安装JDK和SSH服务。
4、配置Hadoop。
5、为了方便开发过程，需安装eclipse。
6、运行一个简单的Hadoop程序：WordCount.java注：在win7系统上，利用虚拟工具VMware建立若干个Linux系统，每个系统为一个节点，构建Hadoop集群。
先在一个虚拟机上将所有需要配置的东西全部完成，然后再利用VMware 的克隆功能，直接生成其他虚拟机，这样做的目的是简单。
二、所需软件1、VMware：VMware Workstation，直接百度下载（在百度软件中心下载即可）。
2、Ubuntu系统：ubuntu-15.04-desktop-amd64.iso，百度网盘：/s/1qWxfxso注：使用15.04版本的Ubuntu（其他版本也可以），是64位系统。
3、jdk：jdk-8u60-linux-x64.tar.gz，网址：/technetwork/java/javase/downloads/jdk8-downloads-2133151.html注：下载64位的Linux版本的jdk。
4、Hadoop：hadoop-1.2.1-bin.tar.gz，网址：/apache/hadoop/common/hadoop-1.2.1/注：选择1.2.1版本的Hadoop。
5、eclipse：eclipse-java-mars-1-linux-gtk-x86_64.tar.gz，网址：/downloads/?osType=linux注：要选择Linux版本的，64位，如下：6、hadoop-eclipse-plugin-1.2.1.jar，这是eclipse的一个插件，用于Hadoop的开发，直接百度下载即可。
三、安装过程1、安装VMware。
hadoop安装以及配置启动命令
hadoop安装以及配置启动命令本次安装使⽤的Hadoop⽂件是badou学院的Hadoop1.2.1.tar.gz，以下步骤都是在此版本上进⾏。
1、安装，通过下载tar.gz⽂件安装到指定⽬录2、安装好后需要配置Hadoop集群配置信息： 在hadoop的conf路径中的masters中添加master(集群机器主的hostname)在slaves中添加集群的slave的hostname名称名称对应的是各⾃机器的hostname这样通过hosts⽂件中配置的域名地址映射可以直接找到对应的机器 a、core-site.xml 在xml⽂件中添加<property><name>hadoop.tmp.dir</name><value>/usr/local/src/hadoop.1.2.1/tmp</value></property> <property><name></name><value>hdfs://192.168.79.10:9000</value></property> c、hdfs-site.xml 在⽂件中添加<property><name>dfs.replication</name><value>3</value></property><!-- 复制节点数 --> d、hadoop-env.xml 在⽂件中添加export JAVA_HOME=/usr/local/src/jdk1.6.0_45 步骤2配置好后将当前hadoop⽂件夹复制到集群中其他机器上，只需要在对应机器上修改其对应的ip、port、jdk路径等信息即可搭建集群3、配置好Hadoop环境后需要测试环境是否可⽤： a、⾸先进⼊Hadoop的安装⽬录，进⼊bin⽬录下，先将Hadoop环境初始化，命令：./hadoop namenode -format b、初始化之后启动Hadoop,命令:./start_all.sh c、查看Hadoop根⽬录下的⽂件，命令:./hadoop fs -ls/ d、上传⽂件，命令:./hadoop fs -put ⽂件路径 e、查看⽂件内容，命令：./hadoopo fs -cat hadoop⽂件地址注意：在安装Hadoop环境时先安装好机器集群，使得⾄少3台以上（含3台）机器之间可以免密互相登录（可以查看上⼀篇的linux的ssh免密登录）执⾏Python⽂件时的部分配置/usr/local/src/hadoop-1.2.1/bin/hadoop/usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar。
Win10系统安装Hadoop与Hbase
目录1. 前言 (2)2. 准备工作 (2)2.1. 下载Hadoop (2)2.2. 下载hadoop-common (3)2.3. 下载Hbase (3)2.4. 下载JDK (4)3. 环境配置 (4)3.1. 将下载好的3个压缩包分别解压缩 (4)3.2. 覆盖文件 (6)3.3. 安装JDK (7)3.3.1. 配置JAVA环境变量 (8)3.3.2. 测试JDK安装是否成功 (11)4. 配置Hadoop (11)4.1. hadoop-env.cmd (12)4.2. core-site.xml (13)4.3. hdfs-site.xml (14)4.4. 创建mapred-site.xml (15)4.5. yarn-site.xml (18)5. 启动Hadoop (20)5.1. 以管理员身份运行CMD命令提示符 (20)5.2. 切换到hadoop目录 (21)5.3. 运行hadoop-env.cmd脚本 (21)5.4. 格式化HDFS文件系统 (21)5.5. 启动HDFS (22)5.6. 遇到异常 (23)5.6.1. 解决方案 (23)5.7. 停止Hadoop (25)6. 配置Hbase (26)6.1. 编辑hbase-site.xml (26)6.2. 编辑hbase-env.cmd (27)7. 启动Hbase (28)8. Hbase Shell (31)8.1. 用shell连接HBase (31)8.2. 使用shell (31)8.2.1. 创建表 (31)8.2.2. Scan表 (32)8.2.3. Get一行 (33)8.2.4. 删除表 (33)8.2.5. 关闭shell (34)8.2.6. 停止Hbase (34)9. Java API Hbase (35)1.前言工作需要，现在开始做大数据开发了，通过下面的配置步骤，你可以在win10系统中，部署出一套hadoop+hbase，便于单机测试调试开发。
hadoop实验报告
基于hadoop的大规模文本处理技术实验专业班级：软件1102学生姓名：张国宇学号：Setup Hadoop on Ubuntu 11.0464-bit提示：前面的putty软件安装省略；直接进入JDK的安装。
1. Install Sun JDK<安装JDK>由于Sun JDK在ubuntu的软件中心中无法找到，我们必须使用外部的PPA。
打开终端并且运行以下命令：sudo add-apt-repository ppa:ferramroberto/javasudo apt-get updatesudo apt-get install sun-java6-binsudo apt-get install sun-java6-jdkAdd JAVA_HOME variable<配置环境变量>:先输入粘贴下面文字：sudo vi /etc/environment再将下面的文字输入进去：按i键添加，esc键退出，X保存退出；如下图：export JAVA_HOME=\/usr/lib/jvm/java-6-sun-1.6.0.26Test the success of installation in Terminal<在终端测试安装是否成功>:sudo . /etc/environmentjava –version>的设置ssh检查2. Check SSH Setting<ssh localhost如果出现“connection refused”，你最好重新安装 ssh（如下命令可以安装）：sudo apt-get install openssh-server openssh-client如果你没有通行证ssh到主机，执行下面的命令：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys3. Setup Hadoop<安装hadoop>安装 apache2sudo apt-get install apache2下载hadoop：1.0.4解压hadoop所下载的文件包：tar xvfz hadoop-1.0.4.tar.gz下载最近的一个稳定版本，解压。
hadoop安装配置指南
Hadoop安装、配置指南一、环境1、软件版本Hadoop：hadoop-0.20.2.Hive：hive-0.5.0JDK：jdk1.6以上版本2、配置的机器：主机[服务器master]：192.168.10.121 hadoop13从机[服务器slaves]：192.168.10.68 hadoop4在本文中，在命令或二、先决条件1、配置host:打开/etc/host文件，添加如下映射192.168.10.121 hadoop13 hadoop13192.168.10.68 hadoop4 hadoop42、配置SSH自动登陆1)以ROOT用户，登陆到[服务器master]上执行,如下操作：ssh-keygen -t rsa //一路回车cd ~/.sshcat id_rsa.pub >> authorized_keysscp -r ~/.ssh [服务器slaves]:~/2）以ROOT用户，登陆到[服务器slaves]上执行,如下操作：scp -r ~/.ssh [服务器master]:~/3）测试SSH是否配置成功在主服务器中执行如下命令：ssh [服务器master]ssh 192.168.10.68成功显示结果：Last login: Thu Aug 26 14:11:27 2010 from 在从服务器中执行如下命令：ssh [服务器slaves]ssh 192.168.10.121成功显示结果Last login: Thu Aug 26 18:23:58 2010 from 三、安装hadoop1、JDK安装,解压到/usr/local/jdk1.6.0_17,并配置/etc/profile环境export JAVA_HOME=/usr/local/jdk/jdk1.7.0export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATHexport CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jarJDK路径:/usr/local/jdk/jdk1.7.0export JAVA_HOME=/usr/local/jdk/jdk1.7.0export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATHexport CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar/usr/local/jdk/jdk1.7.02、下载Hadoop 并解压到[服务器master]的/root/zwmhadoop目录下tar zxvf hadoop-0.20.2.tar.gz四、配置hadoop1.配置主机[服务器master]到zwm hadoop/hadoop-0.20.2/ hadoop 目录下，修改以下文件：1）配置conf/hadoop-env.sh文件，在文件中添加环境变量，增加以下内容：export JAVA_HOME=/usr/local/jdk1.6.0_17export HADOOP_HOME=/root/zwmhadoop/hadoop-0.20.2/2）配置conf/core-site.xml文件，增加以下内容<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property><name></name><value>hdfs://192.168.10.121:9000</value>//你的namenode的配置，机器名加端口<description>The nam e of the default file system. Either the literal string "local" o r a host:port for DFS.</description></property></configuration>3）配置conf/hdfs-site.xml文件，增加以下内容<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property><name>hadoop.t m p.dir</name><value>/root/zwmhadoop/t m p</value>//Hadoop的默认临时路径，这个最好配置，然后在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的t mp目录即可。
Hadoop大数据平台安装实验(详细步骤)(虚拟机linux)
大数据技术实验报告大数据技术实验一Hadoop大数据平台安装实验1实验目的在大数据时代，存在很多开源的分布式数据采集、计算、存储技术，本实验将在熟练掌握几种常见Linux命令的基础上搭建Hadoop(HDFS、MapReduce、HBase、Hive)、Spark、Scala、Storm、Kafka、JDK、MySQL、ZooKeeper等的大数据采集、处理分析技术环境。
2实验环境个人笔记本电脑Win10、Oracle VM VirtualBox 5.2.44、CentOS-7-x86_64-Minimal-1511.iso3实验步骤首先安装虚拟机管理程序，然后创建三台虚拟服务器，最后在虚拟服务器上搭建以Hadoop 集群为核心的大数据平台。
3.1快速热身，熟悉并操作下列Linux命令·创建一个初始文件夹，以自己的姓名（英文）命名；进入该文件夹，在这个文件夹下创建一个文件，命名为Hadoop.txt。
·查看这个文件夹下的文件列表。
·在Hadoop.txt中写入“Hello Hadoop!”，并保存·在该文件夹中创建子文件夹”Sub”，随后将Hadoop.txt文件移动到子文件夹中。
·递归的删除整个初始文件夹。
3.2安装虚拟机并做一些准备工作3.2.1安装虚拟机下载系统镜像，CentOS-7-x86_64-Minimal-1511.iso。
虚拟机软件使用Oracle VM VirtualBox 5.2.44。
3.2.2准备工作关闭防火墙和Selinux，其次要安装perl 、libaio、ntpdate 和screen。
然后检查网卡是否开机自启，之后修改hosts，检查网络是否正常如图：然后要创建hadoop用户，之后多次用，并且生成ssh 密钥并分发。
最后安装NTP 服务。
3.3安装MYSQL 3.3.1安装3.3.2测试3.4安装ZooKeeper。