hadoop安装与实验
《大数据技术》Hadoop安装和HDFS常见的操作实验报告
《大数据技术》Hadoop安装和HDFS常见的操作实验报告
三、实验过程与结论：（经调试正确的源程序（核心部分）和程序的运行结果）
1.熟悉常用的Hadoop操作
（1）使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录“/user/hadoop”
（2）接着在HDFS的目录“/user/hadoop”下，创建test文件夹，并查看文件列表
（3）将Linux系统本地的“～/.bashrc”文件上传到HDFS的test文件夹中，并查看test
（4）将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下
2. 编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：
(1)
(2)
(3)
(4)
(5)
(6)
(7)
(8)
(9)
(10)
3.编程实现一个类“MyFSDataInputStream”
四、实验总结：（实验中遇到的问题及解决方法，心得体会等）
通过本次实验的学习，我对什么是大数据，大数据在做什么有了初步的了解，同时也激发起了我对大数据学习的兴趣。
在今后的学习中我会更加努力，本章知识也为我后面章节的学习奠定了基础。
让我有明确的目标去学习这门课程。
实验2 Hadoop安装与配置
实验报告封面课程名称： Hadoop大数据处理课程代码： JY1124任课老师：陈宁穗实验指导老师: 陈宁穗实验报告名称：实验2 Hadoop安装与配置学生姓名：学号：教学班：递交日期：签收人：我申明，本报告内的实验已按要求完成，报告完全是由我个人完成，并没有抄袭行为。
我已经保留了这份实验报告的副本。
申明人(签名):实验报告评语与评分：评阅老师签名：一、实验名称：Hadoop安装与配置二、实验日期：2015年9 月18日三、实验目的：Hadoop安装与配置。
四、实验用的仪器和材料：安装环境:以下两个组合之一1.硬件环境：内存ddr3 4G及以上的x86架构主机一部系统环境：windows 、linux或者mac os x软件环境：运行vmware或者virtualbox(2) 内存ddr 1g及以上的主机两部及以上五、实验的步骤和方法：注: hadoop必须运行在类unix环境下。
Windows必须通过虚拟机运行linux环境或者安装cygwin，本次实验是在Windows下通过虚拟机运行linux环境实现。
本次实验重点在vmware中安装ubuntu以及在ubuntu中一些命令的熟悉使用。
一、vmware中ubuntu的安装步骤1、打开桌面VMware Workstation图标，进入软件。
2、点击“新建虚拟机”，进入新建向导，选择“典型(推荐)”继续。
3、选择“稍后安装操作系统”。
4、选择linux操作系统下的Ubuntu系统，点击继续。
5、设置自己虚拟机名称，选择安装位置（根据自己喜好选择）。
6、设置磁盘空间，一般用户选择推荐的20G就够用了。
点击下一步。
7、点击“自定义硬件”进行硬件设备定义。
8、内存采用1G默认。
9、设备选择“新CD/DVD”，连接选择使用ISO映像文件，点击浏览选择本地ubuntu的ISO映像文件10、这时安装前的基本操作已经完成，下面正式安装系统。
点击“打开虚拟机电源”，进入系统安装界面。
hadoop安装实验总结
hadoop安装实验总结Hadoop安装实验总结Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。
在本次实验中，我成功安装了Hadoop，并进行了相关的配置和测试。
以下是我对整个过程的总结和经验分享。
1. 环境准备在开始安装Hadoop之前，我们需要确保已经具备了以下几个环境条件：- 一台Linux操作系统的机器，推荐使用Ubuntu或CentOS。
- Java开发环境，Hadoop是基于Java开发的，因此需要安装JDK。
- SSH服务，Hadoop通过SSH协议进行节点之间的通信，因此需要确保SSH服务已启动。
2. 下载和安装Hadoop可以从Hadoop官方网站上下载最新的稳定版本。
下载完成后，解压缩到指定目录，并设置环境变量。
同时，还需要进行一些配置，包括修改配置文件和创建必要的目录。
3. 配置Hadoop集群Hadoop是一个分布式系统，通常会配置一个包含多个节点的集群。
在配置文件中，我们需要指定集群的各个节点的IP地址和端口号，并设置一些重要的参数，如数据存储路径、副本数量等。
此外，还可以根据实际需求调整其他配置参数，以优化集群性能。
4. 启动Hadoop集群在完成集群配置后，我们需要启动Hadoop集群。
这一过程需要先启动Hadoop的各个组件，包括NameNode、DataNode、ResourceManager和NodeManager等。
启动成功后，可以通过Web 界面查看集群的状态和运行情况。
5. 测试Hadoop集群为了验证Hadoop集群的正常运行，我们可以进行一些简单的测试。
例如，可以使用Hadoop提供的命令行工具上传和下载文件，查看文件的副本情况，或者运行一些MapReduce任务进行数据处理。
这些测试可以帮助我们了解集群的性能和可靠性。
6. 故障排除与优化在实际使用Hadoop时，可能会遇到一些故障和性能问题。
为了解决这些问题，我们可以通过查看日志文件或者使用Hadoop提供的工具进行故障排查。
组建hadoop集群实验报告
组建hadoop集群实验报告一、实验目的本次实验的目的是通过组建Hadoop 集群，熟悉和掌握Hadoop 的部署过程和相关技术，加深对分布式计算的理解并掌握其应用。
二、实验环境- 操作系统：Ubuntu 20.04- Hadoop 版本：3.3.0- Java 版本：OpenJDK 11.0.11三、实验步骤1. 下载和安装Hadoop在官方网站下载Hadoop 的二进制文件，并解压到本地的文件夹中。
然后进行一些配置，如设置环境变量等，以确保Hadoop 可以正常运行。
2. 配置Hadoop 集群a) 修改核心配置文件在Hadoop 的配置目录中找到`core-site.xml` 文件，在其中添加以下配置：xml<configuration><property><name>fs.defaultFS</name><value>hdfs:localhost:9000</value></property></configuration>b) 修改HDFS 配置文件在配置目录中找到`hdfs-site.xml` 文件，在其中添加以下配置：xml<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>c) 修改YARN 配置文件在配置目录中找到`yarn-site.xml` 文件，在其中添加以下配置：xml<configuration><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</nam e><value>org.apache.hadoop.mapred.ShuffleHandler</value></property></configuration>3. 启动Hadoop 集群在终端中执行以下命令来启动Hadoop 集群：bashstart-all.sh这将启动Hadoop 中的所有守护进程，包括NameNode、DataNode、ResourceManager 和NodeManager。
hadoop 实验报告
hadoop 实验报告Hadoop 实验报告引言Hadoop是一个开源的分布式存储和计算框架，被广泛应用于大数据处理和分析领域。
本实验旨在通过搭建Hadoop集群，进行数据处理和分析，以验证Hadoop在大数据环境下的性能和可靠性。
实验环境本次实验使用了3台虚拟机，每台虚拟机配置了4核CPU和8GB内存。
其中一台作为NameNode和ResourceManager，其余两台作为DataNode和NodeManager。
所有虚拟机运行的操作系统为CentOS 7.0。
实验步骤1. 安装Hadoop首先在每台虚拟机上安装Hadoop，并配置好环境变量和相关参数。
然后在NameNode上配置HDFS和YARN，并在DataNode上配置HDFS和NodeManager。
2. 启动集群依次启动NameNode、DataNode和ResourceManager、NodeManager，确保集群正常运行。
3. 数据处理将一份大数据文件上传至HDFS，并通过MapReduce程序对数据进行处理和分析，例如统计单词频率或计算数据的平均值等。
4. 性能测试通过在集群上运行不同规模的数据处理任务，记录下任务的运行时间和资源利用率，评估Hadoop的性能和扩展性。
实验结果经过实验，我们得出了以下结论：1. Hadoop集群的搭建和配置相对复杂，需要对Hadoop的各个组件有深入的了解和掌握。
2. Hadoop集群在处理大规模数据时表现出了良好的性能和扩展性，能够有效地利用集群资源进行并行计算。
3. Hadoop的容错机制能够保证集群在节点故障时的稳定运行，数据的可靠性得到了保障。
结论通过本次实验，我们深入了解了Hadoop的工作原理和性能特点，验证了Hadoop在大数据环境下的可靠性和高效性。
同时也发现了Hadoop在搭建和配置上的一些难点和挑战，这需要我们在实际应用中不断摸索和实践。
相信随着大数据技术的不断发展，Hadoop将会在各个领域发挥越来越重要的作用。
hadoop分布式环境搭建实验总结
hadoop分布式环境搭建实验总结Hadoop分布式环境搭建实验总结一、引言Hadoop是目前最流行的分布式计算框架之一，它具有高可靠性、高扩展性和高效性的特点。
在本次实验中，我们成功搭建了Hadoop分布式环境，并进行了相关测试和验证。
本文将对实验过程进行总结和归纳，以供参考。
二、实验准备在开始实验之前，我们需要准备好以下几个方面的内容：1. 硬件环境：至少两台具备相同配置的服务器，用于搭建Hadoop 集群。
2. 软件环境：安装好操作系统和Java开发环境，并下载Hadoop 的安装包。
三、实验步骤1. 安装Hadoop：解压Hadoop安装包，并根据官方文档进行相应的配置，包括修改配置文件、设置环境变量等。
2. 配置SSH无密码登录：为了实现集群间的通信，需要配置各个节点之间的SSH无密码登录。
具体步骤包括生成密钥对、将公钥分发到各个节点等。
3. 配置Hadoop集群：修改Hadoop配置文件，包括core-site.xml、hdfs-site.xml和mapred-site.xml等，设置集群的基本参数，如文件系统地址、数据存储路径等。
4. 启动Hadoop集群：通过启动NameNode、DataNode和ResourceManager等守护进程，使得集群开始正常运行。
可以通过jps命令来验证各个进程是否成功启动。
5. 测试Hadoop集群：可以使用Hadoop自带的例子程序进行测试，如WordCount、Sort等。
通过执行这些程序，可以验证集群的正常运行和计算能力。
四、实验结果经过以上步骤的操作，我们成功搭建了Hadoop分布式环境，并进行了相关测试。
以下是我们得到的一些实验结果：1. Hadoop集群的各个节点正常运行，并且能够相互通信。
2. Hadoop集群能够正确地处理输入数据，并生成期望的输出结果。
3. 集群的负载均衡和容错能力较强，即使某个节点出现故障，也能够继续运行和处理任务。
hadoop集群环境安装及测试
三台Ubuntu16.04虚拟机，主机名分别为master-hadoop和slaver0，slaver1一、配置ssh无密码登录：1、三台虚拟机(master-hadoop，slaver0，slaver1)安装ssh协议：apt-get install sshapt-get install rsync2、master-hadoop执行(ssh-keygen –t rsa -P “”),点击回车,生成密钥。
3、在master-hadoop上执行:scp ~/.ssh/id_rsa.pubkong@slaver0:~/.sshscp ~/.ssh/id_rsa.pub kong@slaver1:~/.ssh把master-hadoop的公钥分别复制到slaver0、slaver1中4、在虚拟机上执行 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 进行密钥授权5、虚拟机执行servicesshrestart 重启ssh服务，然后进行ssh测试无密码链接。
二、安装JDK（master-hadoop、slaver0、slaver1）：下载JDK1.7（不要用1.8，hadoop不能有效的支持jdk1.8），解压到/usr/local/java/jdk中配置环境变量：执行vim/etc/profile在profile最后添加上JAVA_HOME=/usr/local/java/jdkCLASSPATH=${JAVA_HOME}/lib:${JAVA_HOME}/jre/libPATH=${JAVA_HOME}/bin:$PATHexport JAVA_HOME PATH执行source/etc/profile执行java –version验证jdk环境是否成功搭建三、安装hadoop(master-hadoop)：下载Hadoop2.7.3，解压到/home/kong/hadoop中设置环境变量：执行vim/etc/profile末尾添加HADOOP_HOME=/home/kong/HadoopPATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin设置文件（以下文件都在/home/kong/hadoop/etc/hadoop/下）:1、在/home/kong/hadoop中新建tmp文件夹；在/home/kong/hadoop/share/hadoop/hdfs 中新建data和name文件夹2、在slaves文件中添加slaver0、slaver13、在hadoop-env.sh文件最后添加export JAVA_HOME=/usr/local/java/jdk/4、在core-site.xml中添加<configuration><property>//主机名和端口号<name>fs.defaultFS</name><value>hdfs://master-hadoop:9000</value>//上传下载文件所用，rpc协议，不能使用http协议访问</property><property><name>io.file.buffer.size</name><value>131072</value></property><property>//存储路径<name>hadoop.tmp.dir</name>//临时文件<value>file:/home/kong/hadoop/tmp</value></property></configuration>5、在hdfs-site.xml中添加<configuration><property><name>.dir</name><value>file:/home/kong/hadoop/share/hadoop/hdfs/name</value></property><property><name>node.data.dir</name><value>file:/home/kong/hadoop/share/hadoop/hdfs/data</value></property><property><name>dfs.replication</name><!--数据副本数量，默认3，设置为1--><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property></configuration>6、yarn-site.xml<configuration><property><name>yarn.resourcemanager.address</name><value>master-hadoop:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>master-hadoop:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master-hadoop:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>master-hadoop:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>master-hadoop:8088</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value></property></configuration>8、mapred-site.xml<configuration><property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master-hadoop:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master-hadoop:19888</value></property><property><name>mapred.job.tracker</name><value>nistest.master:9001</value></property></configuration>分别执行scp –r /home/kong/hadoop/ kong@slaver0:/home/kong/hadoop scp –r /home/kong/hadoop/ kong@slaver1:/home/kong/hadoop把master-hadoop中设置好的hadoop包复制到slaver0、slaver1中。
Hadoop大数据平台安装实验(详细步骤)(虚拟机linux)
大数据技术实验报告大数据技术实验一Hadoop大数据平台安装实验1实验目的在大数据时代，存在很多开源的分布式数据采集、计算、存储技术，本实验将在熟练掌握几种常见Linux命令的基础上搭建Hadoop(HDFS、MapReduce、HBase、Hive)、Spark、Scala、Storm、Kafka、JDK、MySQL、ZooKeeper等的大数据采集、处理分析技术环境。
2实验环境个人笔记本电脑Win10、Oracle VM VirtualBox 5.2.44、CentOS-7-x86_64-Minimal-1511.iso3实验步骤首先安装虚拟机管理程序，然后创建三台虚拟服务器，最后在虚拟服务器上搭建以Hadoop 集群为核心的大数据平台。
3.1快速热身，熟悉并操作下列Linux命令·创建一个初始文件夹，以自己的姓名（英文）命名；进入该文件夹，在这个文件夹下创建一个文件，命名为Hadoop.txt。
·查看这个文件夹下的文件列表。
·在Hadoop.txt中写入“Hello Hadoop!”，并保存·在该文件夹中创建子文件夹”Sub”，随后将Hadoop.txt文件移动到子文件夹中。
·递归的删除整个初始文件夹。
3.2安装虚拟机并做一些准备工作3.2.1安装虚拟机下载系统镜像，CentOS-7-x86_64-Minimal-1511.iso。
虚拟机软件使用Oracle VM VirtualBox 5.2.44。
3.2.2准备工作关闭防火墙和Selinux，其次要安装perl 、libaio、ntpdate 和screen。
然后检查网卡是否开机自启，之后修改hosts，检查网络是否正常如图：然后要创建hadoop用户，之后多次用，并且生成ssh 密钥并分发。
最后安装NTP 服务。
3.3安装MYSQL 3.3.1安装3.3.2测试3.4安装ZooKeeper。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
# 会有提示，都按回车就可以
•cat ./id_rsa.pub >> ./authorized_keys # 加入授权
•此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了
安装Java环境1
• Java环境可选择 Oracle 的 JDK，或是 OpenJDK， 按中说的，新版本在 OpenJDK 1.7 下是没问题的。 为图方便，这边直接通过命令安装 OpenJDK 7。
•该 命 令 会 输 出 一 个 路 径 ， 除 去 路 径 末 尾 的 “/bin/javac”，剩下的就是正确的路径了。如输出 路径为 /usr/lib/jvm/java-7-openjdk-amd64/bin/javac， 则我们需要的路径为 /usr/lib/jvm/java-7-openjdkamd64。
• 设置好后我们来检验一下是否设置正确： • echo $JAVA_HOME # 检验变量值
• java -version • $JAVA_HOME/bin/java -version # 与直接执行 java -
version 一样 • 如果设置正确的话，$JAVA_HOME/bin/java -version 会
• sudo apt-get install openssh-server
• ห้องสมุดไป่ตู้装后，可以使用如下命令登陆本机： • ssh localhost
•这是因为,openssh-server是依赖于openssh-clien的, 那ubuntu不是自带了openssh-client吗?原由是自带 的openssh-clien与所要安装的openssh-server所依 赖的版本不同,这里所依赖的版本是
• 下载时强烈建议也下载 hadoop-2.x.y.tar.gz.mds 这个文 件，该文件包含了检验值可用于检查 hadoop-2.x.y.tar.gz 的完整性，否则若文件发生了损坏或下载不完整， Hadoop 将无法正常运行。
• 接着配置 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置
• gedit ~/.bashrc • 在文件最前面添加如下单独一行（注意 = 号前后不
能有空格），将“JDK安装路径”改为上述命令得 到的路径，并保存：
• export JAVA_HOME=JDK安装路径 • 接着还需要让该环境变量生效，执行如下代码： • source ~/.bashrc # 使变量设置生效
安装Java环境2
• 一、下载 • 二、 解压 • sudo tar -zxvf jdk-8u91-linux-i586.gz • 三、 设置环境变量 • export JAVA_HOME=/usr/jdk/jdk1.8.0_91 • export CLASSPATH=${JAVA_HOME}/lib • export PATH=${JAVA_HOME}/bin:$PATH • 为了让更改立即生效，请在终端执行如下命令： • source ~/.bashrc
• 可为 hadoop 用户增加管理员权限，方便部署，避 免一些对新手来说比较棘手的权限问题：
• sudo adduser hadoop sudo
• 最后注销当前用户（点击屏幕右上角的齿轮，选择 注销），在登陆界面使用刚创建的 hadoop 用户进 行登陆。
更新apt
• 用 hadoop 用户登录后，我们先更新一下 apt，后续 我们使用 apt 安装软件，如果没更新可能有一些软 件安装不了。按 ctrl+alt+t 打开终端窗口，执行如下 命令：太慢，，，，可忽略
HADOOP
创建hadoop用户
• sudo useradd -m hadoop -s /bin/bash • 这条命令创建了可以登陆的 hadoop 用户，并使用
/bin/bash 作为 shell。
• 接着使用如下命令设置密码，可简单设置为 hadoop， 按提示输入两次密码：
• sudo passwd hadoop
•但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比 较方便。
•首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 sshkeygen 生成密钥，并将密钥加入到授权中：
•cd ~/.ssh/
# 若没有该目录，请先执行一次ssh localhost
•ssh-keygen -t rsa
• sudo apt-get install openjdk-7-jre openjdk-7-jdk
• 安装好 OpenJDK 后，需要找到相应的安装路径， 这个路径是用于配置 JAVA_HOME 环境变量的。执 行如下命令：
• dpkg -L openjdk-7-jdk | grep '/bin/javac'
输出 java 的版本信息，且和 java -version 的输出结果一 样.
安装 Hadoop 2
• Hadoop 2 可以通过 或者 下载，一般选择下载最新的稳 定版本，即下载 “stable” 下的 hadoop-2.x.y.tar.gz 这 个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用。
• sudo apt-get update • 若出现如下 “Hash校验和不符” 的提示，可通过
更改软件源来解决。若没有该问题，则不需要更改。
安装SSH、配置SSH无密码登陆
• 集群、单节点模式都需要用到 SSH 登陆（类似于远 程登陆，你可以登录某台 Linux 主机，并且在上面 运行命令），Ubuntu 默认已安装了 SSH client，此 外还需要安装 SSH server：
•1:6.6p1-2ubuntu1
•所 以 要 安 装 对 应 版 本 的 o p e n s s h - c l i e n , 来 覆 盖 掉 ubuntu自带的
• sudo apt-get install openssh-client=1:6.6p12ubuntu1
•此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密 码 hadoop，这样就登陆到本机了。