实验2 Hadoop安装与配置
实验报告封面
课程名称： Hadoop大数据处理 课程代码： JY1124
任课老师： 陈宁穗 实验指导老师: 陈宁穗
实验报告名称： 实验2 Hadoop安装与配置
学生姓名：
学号：
教学班：
递交日期：
签收人：
我申明，本报告内的实验已按要求完成，报告完全是由我个人完成，并没有抄袭行为。我已经保留了这份实验报告的副本。
申明人(签名):
实验报告评语与评分：
评阅老师签名：
一、实验名称：
Hadoop安装与配置
二、实验日期：
2015年 9 月 18日
三、实验目的：
Hadoop安装与配置
。
四、实验用的仪器和材料：
安装环境:以下两个组合之一
1. 硬件环境：内存ddr3 4G及以上的x86架构主机一部
系统环境：windows 、linux或者mac os x
软件环境：运行vmware或者virtualbox
(2) 内存ddr 1g及以上的主机两部及以上
五、实验的步骤和方法：
注: hadoop必须运行在类unix环境下。Windows必须通过虚拟机运行linux环境
或者安装cygwin，本次实验是在Windows下通过虚拟机运行linux环境实现。
本次实验重点在vmware中安装ubuntu以及在ubuntu中一些命令的熟悉使用。
一、vmware中ubuntu的安装步骤
1、打开桌面VMware Workstation图标，进入软件。
2、点击“新建虚拟机”，进入新建向导，选择 “典型(推荐)”继续。
3、选择“稍后安装操作系统”。
4、选择linux操作系统下的Ubuntu系统，点击继续。
5、设置自己虚拟机名称，选择安装位置（根据自己喜好选择）。
6、设置磁盘空间，一般用户选择推荐的20G就够用了。点击下一步。
7、点击“自定义硬件”进行硬件设备定义。
8、内存采用1G默认。
9、设备选择“新CD/DVD”，连接选择使用ISO映像文件，点击浏览选择本地
ubuntu的ISO映像文件
10、这时安装前的基本操作已经完成，下面正式安装系统。点击“打开虚拟机电
源”，进入系统安装界面。
11、选择语言中文简体，继续安装Ubuntu，并根据情况安装下载更新。
12、点击继续
13、选择 “其他选项，自己创建分区”，点击继续。
14、选中设备，点击新建分区表。
15、选中“空闲”点击添加按钮。
16、按以下内容分别创建“/boot”、“交换空间”、“/home”、“/”分区
17、选择键盘布局“汉语”，等待文件复制完成，进行下一步账户设置。设置用
户名，密码(记住密码)。
18、继续安装系统，下载语言包，此时需等待较长一段时间完成后会提示你安
装完毕，并重启计算机。
19、重启完成后，就正式安装完毕，进入全新的Ubuntu桌面。
二、ubuntu中命令的熟悉使用
打开ubuntu中左上角dash主页，输入ter，按回车可打开终端输入命令界面。
1、设置root用户密码：sudo passwd
普通用户切换到root用户：su
2、目录的创建：mkdir opt/java opt/hadoop
3、目录的切换：cd
4、查看目录下所有内容：ls
5、下载jdk，可使用多种方式：
(1)wget
http://download.oracle.com/otn-pub/java/jdk/7u51-b13/jdk-7u51-linux-i586.tar.gz?AuthParam
=1393486646_9319741e20f561f59bb394f119c6cb7a（文件太大不推荐）
(2) 打开浏览器，通过邮件下载到ubuntu中，自动默认下载到主文件夹中的下载文件夹
6、文件的复制
六、数据记录和计算：
指从实验中测到的数据以及计算结果。
七、实验结果或结论：
即根据实验过程中所见到的现象和测得的数据，作出结论。
八、备注或说明：
可写上实验成功或失败的原因，实验后的心得体会、建议等。
九、引用参考文献：
1. 陆嘉恒 Hadoop实战．机械工业出版社
Hadoop 2.0安装部署方法
✓ 步骤1：下载JDK 1.6（注意区分32位和64位） ✓ 步骤2：安装JDK 1.6（以32位为例）
chmod +x jdk-6u45-linux-i586.bin ./jdk-6u45-linux-i586.bin
✓ 步骤3：验证是否安装成功
以上整个过程与实验环境基本一致，不同的是步骤2中配置文件设置内容以 及步骤3的详细过程。
30
HDFS 2.0的HA配置方法（主备NameNode）
注意事项：
1 主备NameNode有多种配置方法，本课程使用Journal Node方式。为此 ，需要至少准备3个节点作为Journal Node，这三个节点可与其他服务，比 如NodeManager共用节点 2主备两个NameNode应位于不同机器上，这两台机器不要再部署其他 服 务，即它们分别独享一台机器。（注：HDFS 2.0中无需再部署和配置 Secondary Name，备NameNode已经代替它完成相应的功能） 3 主备NameNode之间有两种切换方式：手动切换和自动切换，其中， 自动切换是借助Zookeeper实现的，因此，需单独部署一个Zookeeper集群 （通常为奇数个节点，至少3个）。本课程使用手动切换方式。
Hadoop 2.0安装部署方法
Open Passion Value
目录
1. Hadoop 2.0安装部署流程 2. Hadoop 2.0软硬件准备 3. Hadoop 2.0安装包下载 4. Hadoop 2.0测试环境（单机）搭建方法 5. Hadoop 2.0生产环境（多机）搭建方法 6. 总结
✓ yarn-site.xml：
云计算Hadoop运行环境的配置实验报告
以上操作的目的，是确保每台机器除了都能够使用ip地址访问到对方外，还可以通过主
注意：另外2台也要运行此命令。
）查看证书
hadooptest身份，进入hadooptest家目录的 .ssh文件夹。
（3）新建“认证文件”，在3台机器中运行如下命令，给每台机器新建“认证文件”注意：另外2台也要运行此命令。
其次，虚拟机之间交换证书，有三种拷贝并设置证书方法：
hadoops1机器里的authorized_keys也有三份证书，内容如下：hadoops2机器里的authorized_keys也有三份证书，内容如下：
） Java环境变量配置
继续以root操作，命令行中执行命令”vi m /etc/profile”,在最下面加入以下内容，
．实验体会
通过这次的实验熟悉并了Hadoop运行环境，并学会了如何使用它。
这次实验成功完成了Hadoop 集群，3个节点之间相互ping通，并可以免密码相互登陆，完成了运行环境java安装和配置。
大数据平台实验报告(3篇)
一、实验背景随着互联网的飞速发展，大数据已成为当今社会的重要资源。
为了更好地理解和应用大数据技术，我们开展了本次大数据平台实验，旨在掌握大数据平台的搭建、配置和使用方法。
二、实验目的1. 熟悉大数据平台的基本概念和架构。
2. 掌握Hadoop、HDFS、MapReduce等核心组件的搭建和配置。
3. 学会使用大数据平台进行数据处理和分析。
三、实验环境1. 操作系统：Linux2. Hadoop版本：Hadoop3.3.43. HDFS版本：HDFS 3.3.44. MapReduce版本：MapReduce 3.3.45. Java版本：Java 8四、实验内容1. Hadoop集群搭建（1）安装JDK首先，在Linux系统中安装JDK。
通过以下命令下载并安装JDK：```bashsudo apt-get install openjdk-8-jdk```（2）安装Hadoop接着，下载Hadoop安装包，解压到指定目录，并配置环境变量：sudo tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local/sudo echo "export HADOOP_HOME=/usr/local/hadoop-3.3.4" >> ~/.bashrcsudo echo "export PATH=\$PATH:\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin" >>~/.bashrcsource ~/.bashrc```（3）配置Hadoop编辑`/usr/local/hadoop-3.3.4/etc/hadoop/hadoop-env.sh`文件，配置JDK路径：```bashexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64```编辑`/usr/local/hadoop-3.3.4/etc/hadoop/core-site.xml`文件，配置HDFS的存储目录：```xml<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property></configuration>```编辑`/usr/local/hadoop-3.3.4/etc/hadoop/hdfs-site.xml`文件，配置HDFS的副本数量和存储目录：<configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/hadoop-3.3.4/hdfs/data</value></property></configuration>```编辑`/usr/local/hadoop-3.3.4/etc/hadoop/mapred-site.xml`文件，配置MapReduce的运行模式：```xml<configuration><property><name></name><value>yarn</value></property></configuration>```（4）启动Hadoop集群```bashstart-dfs.shstart-yarn.sh```2. HDFS操作实践（1）上传文件到HDFS```bashhdfs dfs -put /local/file /hdfs/file```（2）下载文件到本地```bashhdfs dfs -get /hdfs/file /local/file```（3）查看HDFS文件目录```bashhdfs dfs -ls /hdfs```3. MapReduce编程实践（1）编写MapReduce程序创建一个名为`WordCount.java`的文件，并添加以下代码：```javaimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class WordCount {public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {private final static IntWritable one = new IntWritable(1);private Text word = new Text();public void map(Object key, Text value, Context context) throws IOException, InterruptedException {String[] tokens = value.toString().split("\\s+");for (String token : tokens) {word.set(token);context.write(word, one);}}}public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {private IntWritable result = new IntWritable();public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {int sum = 0;for (IntWritable val : values) {sum += val.get();}result.set(sum);context.write(key, result);}}public static void main(String[] args) throws Exception { Configuration conf = new Configuration();Job job = Job.getInstance(conf, "word count");job.setJarByClass(WordCount.class);job.setMapperClass(TokenizerMapper.class);job.setCombinerClass(IntSumReducer.class);job.setReducerClass(IntSumReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1);}}```（2）编译MapReduce程序```bashjavac -cp /usr/local/hadoop-3.3.4/share/hadoop/common/:/usr/local/hadoop-3.3.4/share/hadoop/hdfs/:/usr/local/hadoop-3.3.4/share/hadoop/mapreduce/ WordCount.java```（3）运行MapReduce程序```bashhadoop jar WordCount.jar WordCount /hdfs/input /hdfs/output```4. HBase操作实践（1）安装HBase下载HBase安装包，解压到指定目录，并配置环境变量：```bashsudo tar -zxvf hbase-2.2.5-bin.tar.gz -C /usr/local/sudo echo "export HBASE_HOME=/usr/local/hbase-2.2.5" >> ~/.bashrcsudo echo "export PATH=\$PATH:\$HBASE_HOME/bin" >> ~/.bashrcsource ~/.bashrc```（2）配置HBase编辑`/usr/local/hbase-2.2.5/conf/hbase-site.xml`文件，配置HBase的存储目录：```xml<configuration><property><name>hbase.rootdir</name><value>file:///usr/local/hbase-2.2.5/data</value> </property></configuration>```（3）启动HBase```bashstart-hbase.sh```（4）使用HBase Shell```bashhbase shell```（5）创建表```shellcreate 'student', 'info'```（6）插入数据```shellput 'student', 'lisi', 'info:Math', '95'```（7）查询数据```shellget 'student', 'lisi', 'info:Math'```五、实验总结通过本次实验，我们掌握了大数据平台的基本概念、搭建和配置方法，以及HDFS、MapReduce和HBase等核心组件的使用。
hadoop实训报告
hadoop实训报告Hadoop 实训报告一、实训背景随着大数据时代的到来，数据量呈爆炸式增长，传统的数据处理方式已经无法满足需求。
Hadoop 作为一个开源的分布式计算框架，能够有效地处理海量数据，因此在数据处理和分析领域得到了广泛的应用。
为了深入了解和掌握 Hadoop 技术，提高自己的大数据处理能力，我参加了本次 Hadoop 实训。
二、实训目的1、熟悉 Hadoop 生态系统的核心组件，包括 HDFS（Hadoop 分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理框架）等。
2、掌握 Hadoop 集群的搭建和配置方法，能够独立完成集群的部署。
3、学会使用 Hadoop 进行数据的存储、处理和分析，能够编写MapReduce 程序解决实际问题。
4、培养团队合作精神和解决问题的能力，提高自己在大数据领域的实践能力和综合素质。
三、实训环境1、操作系统：CentOS 762、 Hadoop 版本：Hadoop 3213、 Java 版本：JDK 184、开发工具：Eclipse、IntelliJ IDEA四、实训内容（一）Hadoop 集群搭建1、准备工作安装 CentOS 76 操作系统，配置网络、主机名等。
安装 Java 环境，配置 JAVA_HOME 环境变量。
2、安装 Hadoop下载 Hadoop 321 安装包，并解压到指定目录。
配置 Hadoop 环境变量，包括 HADOOP_HOME、PATH 等。
3、配置 Hadoop 集群修改 coresitexml、hdfssitexml、mapredsitexml、yarnsitexml 等配置文件，设置 namenode、datanode、resourcemanager、nodemanager 等相关参数。
启动 Hadoop 集群，包括 namenode 格式化、启动 HDFS、启动YARN 等。
（二）HDFS 操作1、文件上传与下载使用 hadoop fs put 命令将本地文件上传到 HDFS 中。
hadoop安装配置指南
Hadoop安装、配置指南一、环境1、软件版本Hadoop：hadoop-0.20.2.Hive：hive-0.5.0JDK：jdk1.6以上版本2、配置的机器：主机[服务器master]：192.168.10.121 hadoop13从机[服务器slaves]：192.168.10.68 hadoop4在本文中，在命令或二、先决条件1、配置host:打开/etc/host文件，添加如下映射192.168.10.121 hadoop13 hadoop13192.168.10.68 hadoop4 hadoop42、配置SSH自动登陆1)以ROOT用户，登陆到[服务器master]上执行,如下操作：ssh-keygen -t rsa //一路回车cd ~/.sshcat id_rsa.pub >> authorized_keysscp -r ~/.ssh [服务器slaves]:~/2）以ROOT用户，登陆到[服务器slaves]上执行,如下操作：scp -r ~/.ssh [服务器master]:~/3）测试SSH是否配置成功在主服务器中执行如下命令：ssh [服务器master]ssh 192.168.10.68成功显示结果：Last login: Thu Aug 26 14:11:27 2010 from 在从服务器中执行如下命令：ssh [服务器slaves]ssh 192.168.10.121成功显示结果Last login: Thu Aug 26 18:23:58 2010 from 三、安装hadoop1、JDK安装,解压到/usr/local/jdk1.6.0_17,并配置/etc/profile环境export JAVA_HOME=/usr/local/jdk/jdk1.7.0export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATHexport CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jarJDK路径:/usr/local/jdk/jdk1.7.0export JAVA_HOME=/usr/local/jdk/jdk1.7.0export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATHexport CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar/usr/local/jdk/jdk1.7.02、下载Hadoop 并解压到[服务器master]的/root/zwmhadoop目录下tar zxvf hadoop-0.20.2.tar.gz四、配置hadoop1.配置主机[服务器master]到zwm hadoop/hadoop-0.20.2/ hadoop 目录下，修改以下文件：1）配置conf/hadoop-env.sh文件，在文件中添加环境变量，增加以下内容：export JAVA_HOME=/usr/local/jdk1.6.0_17export HADOOP_HOME=/root/zwmhadoop/hadoop-0.20.2/2）配置conf/core-site.xml文件，增加以下内容<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property><name></name><value>hdfs://192.168.10.121:9000</value>//你的namenode的配置，机器名加端口<description>The nam e of the default file system. Either the literal string "local" o r a host:port for DFS.</description></property></configuration>3）配置conf/hdfs-site.xml文件，增加以下内容<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property><name>hadoop.t m p.dir</name><value>/root/zwmhadoop/t m p</value>//Hadoop的默认临时路径，这个最好配置，然后在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的t mp目录即可。
在Docker容器中部署Apache Hadoop的最佳实践
在Docker容器中部署Apache Hadoop的最佳实践一、简介Apache Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。
Docker是一个轻量级容器技术，可以快速部署、管理和运行应用程序。
本文将介绍在Docker容器中部署Apache Hadoop的最佳实践，包括安装配置Hadoop环境、创建容器、设置网络和数据卷、启动Hadoop服务等。
二、安装配置Hadoop环境1. 创建Hadoop用户在Docker主机上创建一个Hadoop用户，并将该用户添加到sudoers组，以便具有足够的权限来安装和配置Hadoop。
2. 安装Java环境在Docker主机上安装Java Runtime Environment（JRE），以便Hadoop能够运行。
可以通过apt-get或yum安装JRE。
3. 下载并解压Hadoop软件包从Apache官方网站上下载适合的Hadoop软件包，并将其解压到Docker主机上的合适目录。
4. 配置Hadoop环境变量在Hadoop的安装目录中创建一个hadoop-env.sh文件，并设置JAVA_HOME和HADOOP_HOME等环境变量。
5. 配置Hadoop主节点和从节点编辑Hadoop的core-site.xml和hdfs-site.xml配置文件，将主节点和从节点的IP 地址和端口号配置正确。
确保所有节点之间可以相互通信。
三、创建容器1. 创建Docker镜像在Docker主机上创建一个Dockerfile，并定义基于哪个基础镜像以及在容器中需要运行的命令。
可以使用docker build命令来创建自定义镜像。
2. 创建容器使用docker run命令创建容器，并将Hadoop的安装目录挂载到容器中的适当目录。
可以使用-v参数来指定挂载点。
3. 进入容器使用docker exec命令进入容器，以便在容器中执行命令。
可以使用该命令来启动Hadoop服务、查看日志文件等。
Hadoop集群配置（最全面总结）
Hadoop集群配置（最全⾯总结）通常，集群⾥的⼀台机器被指定为 NameNode，另⼀台不同的机器被指定为JobTracker。
这些机器是masters。
余下的机器即作为DataNode也作为TaskTracker。
这些机器是slaves\1 先决条件1. 确保在你集群中的每个节点上都安装了所有软件：sun-JDK ，ssh，Hadoop2. Java TM1.5.x，必须安装，建议选择Sun公司发⾏的Java版本。
3. ssh 必须安装并且保证 sshd⼀直运⾏，以便⽤Hadoop 脚本管理远端Hadoop守护进程。
2 实验环境搭建2.1 准备⼯作操作系统：Ubuntu部署：Vmvare在vmvare安装好⼀台Ubuntu虚拟机后，可以导出或者克隆出另外两台虚拟机。
说明：保证虚拟机的ip和主机的ip在同⼀个ip段，这样⼏个虚拟机和主机之间可以相互通信。
为了保证虚拟机的ip和主机的ip在同⼀个ip段，虚拟机连接设置为桥连。
准备机器：⼀台master，若⼲台slave，配置每台机器的/etc/hosts保证各台机器之间通过机器名可以互访，例如：10.64.56.76 node1（master）10.64.56.77 node2 （slave1）10.64.56.78 node3 （slave2）主机信息:机器名 IP地址作⽤Node110.64.56.76NameNode、JobTrackerNode210.64.56.77DataNode、TaskTrackerNode310.64.56.78DataNode、TaskTracker为保证环境⼀致先安装好JDK和ssh：2.2 安装JDK#安装JDK$ sudo apt-get install sun-java6-jdk1.2.3这个安装，java执⾏⽂件⾃动添加到/usr/bin/⽬录。
验证 shell命令：java -version 看是否与你的版本号⼀致。
Hadoop安装与使用（Xshell以及Xftp的安装配置）
Hadoop安装与使⽤（Xshell以及Xftp的安装配置）1安装XshellXshell 是⼀个强⼤的安全终端模拟软件，它⽀持 SSH1, SSH2,以及 Microsoft Windows平台的 TELNET 协议。
Xshell 可以在 Windows 界⾯下⽤来访问远端不同系统下的服务器，从⽽⽐较好的达到远程控制终端的⽬的。
除此之外，其还有丰富的外观配⾊⽅案以及样式选择。
（1）在宿主机 Windows 系统下安装 Xshell 软件，解压缩 Xshell_5.0.1044_XiaZaiBa.zip 安装包，双击 Xshell5.exe 应⽤程序安装,选择免费版本，接受许可证协议中的条款，默认安装选择下⼀步。
2安装XftpXftp 是⼀个基于 MS Windows 平台的功能强⼤的 SFTP、FTP ⽂件传输软件。
使⽤了Xftp 以后，MS Windows ⽤户能安全地在 UNIX/Linux 和 Windows PC 之间传输⽂件。
Xftp能同时适应初级⽤户和⾼级⽤户的需要。
（1）在宿主机 Windows 系统下安装 Xftp 软件，解压缩 Xftp.rar 安装包，双击Xftp5.exe 应⽤程序安装,选择免费版本，接受许可证协议中的条款，默认安装选择下⼀步。
3使⽤Xftp软件上传⽂件（1）开启 CentOS 虚拟机系统，⽆需登⼊，运⾏ Xshell.exe 选择新建。
（2）在主机栏⽬输⼊虚拟机当前 IP 地址，点击“确定”按钮连接虚拟机。
（3）选择新建会话，点击“连接”按钮，包含主机 IP。
（4）连接成功后提⽰可勾选“记住⽤户名”输⼊⽤户名 root 与密码 newlandedu 连接虚拟机。
（5）连接成功后点击位于上⽅的 Xftp 的图标。
（6）弹出 Xftp 连接虚拟机界⾯，左⽅红⾊框为宿主机⽂件列表，右⽅红⾊框为虚拟机⽂件列表，将宿主机⽂件直接拖⼊虚拟机⽂件列表中完成上传。
（7）将虚拟机⽂件列表切换⾄ /opt ⽬录中，宿主机⽂件列表切换⾄本章软件⽬录中，将 JDK、Hadoop ⽂件拖⼊虚拟机列表。
虚拟化与云计算课程实验报告——Hadoop平台搭建
虚拟化与云计算实验报告目录一、实验目标 (1)二、实验内容 (1)三、实验步骤 (1)四、实验遇到的问题及其解决方法 (24)五、实验结论 (25)一、实验目的1.实验题目：配置和使用SAN存储掌握在Linux上配置iSCSI target服务的方法。
2.实验题目：Hadoop&MapReduce安装、部署、使用Hadoop-HDFS配置运行MapReduce程序，使用MapReduce编程二、实验内容1.实验题目：配置和使用SAN存储配置在Linux上iSCSI实现两台机器间的共享存储。
2.实验题目：Hadoop&MapReduce1.掌握在集群上（使用虚拟机模拟）安装部署Hadoop-HDFS的方法。
2.掌握在HDFS运行MapReduce任务的方法。
3.理解MapReduce编程模型的原理，初步使用MapReduce模型编程。
三、实验步骤及实验结果1.实验题目：配置和使用SAN存储在实验1中我作为主机提供共享存储空间，实验地点是在机房，但是由于我当时没有截图所以回寝室在自己的电脑上重做，以下为主机步骤：1.1 确定以root身份执行以下步骤sudo su –1.2 安装iSCSI Target软件1.3 修改/etc/default/iscsitargetISCSITARGET_ENABLE＝true1.4 创建共享存储共享存储可以是logical volumes, image files, hard drives , hard drive partitions or RAID devices例如使用image file的方法，创建一个10G大小的LUN：dd if=/dev/zero of=/storage/lun1.img bs=1024k count=102401.5修改/etc/iet/ietd.conf添加：Target .example:storage.lun1IncomingUser [username] [password]OutgoingUserLun 0 Path=/storage/lun1.img,Type=fileioAlias LUN1#MaxConnections 61.6 修改/etc/iet/initiators.allow如果只允许特定IP的initiator访问LUN，则如下设置.example:storage.lun1 192.168.0.100如果任意initiator均可以访问，则：ALL ALL1.6 启动/重启动iSCSI target/etc/init.d/iscsitarget start/etc/init.d/iscsitarget restart2.实验题目：Hadoop&MapReduce1.安装JDK——在实验中安装为OpenJDK 6 Runtime2.安装openssh-server，命令为：sudo apt-get install openssh-server，并检查ssh server是否已经启动：ps -e | grep ssh，如果只有ssh-agent 那ssh-server还没有启动，需要/etc/init.d/ssh start，如果看到sshd 那说明ssh-server已经启动了。
hadoop安装指南(非常详细,包成功)
➢3.10.2.进程➢JpsMaster节点：namenode/tasktracker（如果Master不兼做Slave, 不会出现datanode/TasktrackerSlave节点：datanode/Tasktracker说明：JobTracker 对应于NameNodeTaskTracker 对应于DataNodeDataNode 和NameNode 是针对数据存放来而言的JobTracker和TaskTracker是对于MapReduce执行而言的mapreduce中几个主要概念，mapreduce整体上可以分为这么几条执行线索：jobclient，JobTracker与TaskTracker。
1、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker创建每个Task（即MapTask和ReduceTask）并将它们分发到各个TaskTracker服务中去执行2、JobTracker是一个master服务，软件启动之后JobTracker接收Job，负责调度Job的每一个子任务task运行于TaskTracker上，并监控它们，如果发现有失败的task就重新运行它。
一般情况应该把JobTracker部署在单独的机器上。
3、TaskTracker是运行在多个节点上的slaver服务。
TaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。
TaskTracker都需要运行在HDFS的DataNode上3.10.3.文件系统HDFS⏹查看文件系统根目录：Hadoop fs–ls /。