hadoop2.2集群配置
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu_CentOS
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS本教程讲述如何配置Hadoop 集群，默认读者已经掌握了Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置。
本教程由厦门大学数据库实验室出品，转载请注明。
本教程适合于原生Hadoop 2，包括Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行Hadoop。
另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。
为了方便新手入门，我们准备了两篇不同系统的Hadoop 伪分布式配置教程。
但其他Hadoop 教程我们将不再区分，可同时适用于Ubuntu 和CentOS/RedHat 系统。
例如本教程以Ubuntu 系统为主要演示环境，但对Ubuntu/CentOS 的不同配置之处、CentOS 6.x 与CentOS 7 的操作区别等都会尽量给出注明。
环境本教程使用Ubuntu 14.04 64位作为系统环境，基于原生Hadoop 2，在Hadoop 2.6.0 (stable)版本下验证通过，可适合任何Hadoop 2.x.y 版本，例如Hadoop 2.7.1，Hadoop 2.4.1 等。
本教程简单的使用两个节点作为集群环境: 一个作为Master 节点，局域网IP 为192.168.1.121；另一个作为Slave 节点，局域网IP 为192.168.1.122。
准备工作Hadoop 集群的安装配置大致为如下流程:1.选定一台机器作为Master2.在Master 节点上配置hadoop 用户、安装SSH server、安装Java 环境3.在Master 节点上安装Hadoop，并完成配置4.在其他Slave 节点上配置hadoop 用户、安装SSH server、安装Java 环境5.将Master 节点上的/usr/local/hadoop 目录复制到其他Slave 节点上6.在Master 节点上开启Hadoop配置hadoop 用户、安装SSH server、安装Java 环境、安装Hadoop 等过程已经在Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置中有详细介绍，请前往查看，不再重复叙述。
Hadoop集群配置与数据处理入门
Hadoop集群配置与数据处理入门1. 引言Hadoop是一个开源的分布式计算框架，被广泛应用于大规模数据处理和存储。
在本文中，我们将介绍Hadoop集群的配置和数据处理的基本概念与入门知识。
2. Hadoop集群配置2.1 硬件要求架设Hadoop集群需要一定的硬件资源支持。
通常，集群中包含主节点和若干个从节点。
主节点负责整个集群的管理，而从节点负责执行具体的计算任务。
在硬件要求方面，主节点需要具备较高的计算能力和存储空间。
从节点需要具备较低的计算能力和存储空间，但数量较多。
此外，网络带宽也是一个关键因素。
较高的网络带宽可以加快数据的传输速度，提升集群的效率。
2.2 软件要求Hadoop运行在Java虚拟机上，所以首先需要确保每台主机都安装了适当版本的Java。
其次，需要安装Hadoop分发版本，如Apache Hadoop或Cloudera等。
针对集群管理，可以选择安装Hadoop的主节点管理工具，如Apache Ambari或Cloudera Manager。
这些工具可以帮助用户轻松管理集群的配置和状态。
2.3 配置文件Hadoop集群部署需要配置多个文件。
其中，最重要的是核心配置文件core-site.xml、hdfs-site.xml和yarn-site.xml。
core-site.xml配置Hadoop的核心参数，如文件系统和输入输出配置等；hdfs-site.xml用于配置Hadoop分布式文件系统；yarn-site.xml配置Hadoop资源管理器和任务调度器相关的参数。
3. 数据处理入门3.1 数据存储与处理Hadoop的核心之一是分布式文件系统(HDFS)，它是Hadoop集群的文件系统，能够在集群中存储海量数据。
用户可以通过Hadoop的命令行工具或API进行文件的读取、写入和删除操作。
3.2 数据处理模型MapReduce是Hadoop的编程模型。
它将大规模的数据集拆分成小的数据块，并分配给集群中的多个计算节点进行并行处理。
Hadoop集群配置详细
Linux系统配置
7安装JDK 将JDK文件解压，放到/usr/java目录下 cd /home/dhx/software/jdk mkdir /usr/java mv jdk1.6.0_45.zip /usr/java/
cd /usr/java
unzip jdk1.6.0_45.zip
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
从当前用户切换root用户的命令如下：
Linux系统配置
操作步骤需要在HadoopMaster和HadoopSlave节点
上分别完整操作，都是用root用户。 从当前用户切换root用户的命令如下：
su root
从当前用户切换root用户的命令如下：
Linux系统配置
1拷贝软件包和数据包 mv ~/Desktop/software ~/
环境变量文件中，只需要配置JDK的路径
gedit conf/hadoop-env.sh
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Hadoop配置部署
3配置核心组件core-site.xml
gedit conf/core-site.xml
<configuration> <property> <name></name> /*2.0后用 fs.defaultFS代替*/ <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/dhx/hadoopdata</value> </property> </configuration>
集群的配置步骤
集群的配置步骤一、搭建集群环境的准备工作在开始配置集群之前，我们需要先进行一些准备工作。
首先，确保所有服务器都已经正确连接到网络，并且能够相互通信。
其次，确保每台服务器上已经安装了操作系统，并且操作系统版本一致。
最后，确保每台服务器上已经安装了必要的软件和工具，例如SSH、Java等。
二、创建集群的主节点1.选择一台服务器作为集群的主节点，将其IP地址记录下来。
2.登录到主节点服务器上，安装并配置集群管理软件，例如Hadoop、Kubernetes等。
3.根据集群管理软件的要求，配置主节点的相关参数，例如集群名称、端口号等。
4.启动集群管理软件，确保主节点能够正常运行。
三、添加集群的工作节点1.选择一台或多台服务器作为集群的工作节点，将其IP地址记录下来。
2.登录到工作节点服务器上，安装并配置集群管理软件，确保与主节点的版本一致。
3.根据集群管理软件的要求，配置工作节点的相关参数，例如主节点的IP地址、端口号等。
4.启动集群管理软件，确保工作节点能够正常连接到主节点。
四、测试集群的连接和通信1.在主节点服务器上，使用集群管理软件提供的命令行工具，测试与工作节点的连接和通信。
例如，可以使用Hadoop的hdfs命令测试与工作节点的文件系统的连接。
2.确保主节点能够正确访问工作节点的资源，并且能够将任务分配给工作节点进行处理。
五、配置集群的资源管理1.根据集群管理软件的要求，配置集群的资源管理策略。
例如，可以设置工作节点的CPU和内存的分配比例，以及任务的调度算法等。
2.确保集群能够合理分配资源，并且能够根据需要动态调整资源的分配。
六、监控和管理集群1.安装并配置集群的监控和管理工具，例如Ganglia、Zabbix等。
2.确保监控和管理工具能够正常运行，并能够及时发现和处理集群中的故障和问题。
3.定期对集群进行巡检和维护，确保集群的稳定和可靠性。
七、优化集群的性能1.根据实际情况，对集群的各项参数进行调优，以提高集群的性能和效率。
hadoop集群部署之双虚拟机版
1、采用一台机器开两个虚拟机的方式构成两台电脑的环境，用root登录。
分别查看其IP地址：输入# ifconfig，可得主机IP：192.168.1.99；分机为：192.168.1.100。
2、在两台机器上的/etc/hosts均添加相应的主机名和IP地址：这里主机名命名为shenghao，分机名命名为slave：保存后重启网络：3、两台机器上均创立hadoop用户（注意是用root登陆）# useradd hadoop# passwd hadoop输入111111做为密码登录hadoop用户：注意，登录用户名为hadoop，而不是自己命名的shenghao。
4、ssh的配置进入centos的“系统→管理→服务器设置→服务，查看sshd服务是否运行。
在所有的机器上生成密码对：# ssh-keygen -t rsa这时hadoop目录下生成一个.ssh的文件夹，可以通过# ls .ssh/来查看里面产生的私钥和公钥：id_rsa和id_rsa.pub。
更改.ssh的读写权限：# chmod 755 .ssh在namenode上（即主机上）进入.ssh，将id_rsa.pub直接复制为authorized_keys（namenode的公钥）：# cp id_rsa.pub authorized_keys更改authorized_keys的读写权限：# chmod 644 authorized_keys 【这个不必须，但保险起见，推荐使用】然后上传到datanode上（即分机上）：# scp authorized_keys hadoop@slave:/home/hadoop/.ssh# cd .. 退出.ssh文件夹这样shenghao就可以免密码登录slave了：然后输入exit就可以退出去。
然后在datanode上（即分机上）：将datanode上之前产生的公钥id_rsa.pub复制到namenode上的.ssh目录中，并重命名为slave.id_rsa.pub，这是为了区分从各个datanode上传过来的公钥，这里就一个datanode，简单标记下就可。
尚硅谷大数据技术之 Hadoop（生产调优手册）说明书
尚硅谷大数据技术之Hadoop（生产调优手册）（作者：尚硅谷大数据研发部）版本：V3.3第1章HDFS—核心参数1.1 NameNode内存生产配置1）NameNode内存计算每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？128 * 1024 * 1024 * 1024 / 150Byte ≈9.1亿G MB KB Byte2）Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，NameNode内存可以配置3g。
在hadoop-env.sh文件中配置如下。
HADOOP_NAMENODE_OPTS=-Xmx3072m3）Hadoop3.x系列，配置NameNode内存（1）hadoop-env.sh中描述Hadoop的内存是动态分配的# The maximum amount of heap to use (Java -Xmx). If no unit # is provided, it will be converted to MB. Daemons will# prefer any Xmx setting in their respective _OPT variable.# There is no default; the JVM will autoscale based upon machine # memory size.# export HADOOP_HEAPSIZE_MAX=# The minimum amount of heap to use (Java -Xms). If no unit # is provided, it will be converted to MB. Daemons will# prefer any Xms setting in their respective _OPT variable.# There is no default; the JVM will autoscale based upon machine # memory size.# export HADOOP_HEAPSIZE_MIN=HADOOP_NAMENODE_OPTS=-Xmx102400m（2）查看NameNode占用内存[atguigu@hadoop102 ~]$ jps3088 NodeManager2611 NameNode3271 JobHistoryServer2744 DataNode3579 Jps[atguigu@hadoop102 ~]$ jmap -heap 2611Heap Configuration:MaxHeapSize = 1031798784 (984.0MB)（3）查看DataNode占用内存[atguigu@hadoop102 ~]$ jmap -heap 2744Heap Configuration:MaxHeapSize = 1031798784 (984.0MB)查看发现hadoop102上的NameNode和DataNode占用内存都是自动分配的，且相等。
Hadoop平台搭建与应用(第2版)(微课版)项目2 Hive环境搭建与基本操作
Hadoop平台搭建与应用教案教学过程教学提示项目2 Hive环境搭建与基本操作任务2.1 Hive的安装与配置Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，将类SQL语句转换为MapReduce任务，如图2-1所示，并执行此任务。
图2-1 将类SQL语句转换为MapReduce任务1．Hive数据结构Hive中所有的数据都存储在HDFS中，Hive中包含以下数据结构。
（1）Table：Hive中的Table和数据库中的Table在概念上是类似的，每一个Table在Hive中都有一个相应的目录存储数据。
（2）Partition（可选）：在Hive中，表中的一个Partition对应于表中的一个目录，所有的Partition的数据都存储在对应的目录中。
（3）Bucket（可选）：Bucket对指定列计算Hash，Partition根据某个列的Hash值散列到不同的Bucket中，目的是进行并行处理，每一个Bucket对应一个文件。
2．Hive架构Hive架构如图2-2所示。
Hadoop和MapReduce是Hive架构的基础。
用户接口主要有CLI客户端、HiveServer客户端、HWI客户端和HUE客户端（开源的Apache Hadoop UI系统），其中最常用的是CLI客户端。
在CLI客户端启动时，会同时启动一个Hive副本。
在Windows中，可通过JDBC连接HiveServer的图形界面工具，包括SQuirrel SQLClient、Oracle SQL Developer及DbVisualizer。
HWI通过浏览器访问Hive，通过Web控制台与Hadoop集群进行交互来分析及处理数据。
MetaStore用于存储和管理Hive的元数据，使用关系数据库来保存元数据信息（MySQL、Derby等），Hive中的元数据包括表的名称、表的列和分区及其属性、表的属性（是否为外部表等）、表的数据所在目录等。
Hadoop集群配置心得（低配置集群+自动同步配置）
Hadoop集群配置⼼得（低配置集群+⾃动同步配置）本⽂为本⼈原创，⾸发到炼数成⾦。
情况是这样的，我没有⼀个⾮常强劲的电脑来搞出⼀个性能⾮常NB的服务器集群，相信很多⼈也跟我差不多，所以现在把我的低配置集群经验拿出来写⼀下好了。
我的配备：1）五六年前的赛扬单核处理器2G内存笔记本 2）公司给配的ThinkpadT420，i5双核处理器4G内存（可⽤内存只有3.4G，是因为装的是32位系统的缘故吧。
）就算是⽤公司配置的电脑，做出来三台1G内存的虚拟机也显然是不现实的。
企业笔记本运⾏的软件多啊，什么都不做空余内存也才不到3G。
所以呢，我的想法就是：⽤我⾃⼰的笔记本（简称PC1）做Master节点，⽤来跑Jobtracker,Namenode 和SecondaryNamenode；⽤公司的笔记本跑两个虚拟机（简称VM1和VM2），⽤来做Slave节点，跑Tasktracker和Datanode。
这么做的话，就需要让PC1，VM1和VM2处于同⼀个⽹段⾥，保证他们之间可以互相连通。
⽹络环境：我的两台电脑都是通过⼀个⽆线路由上⽹。
构建跟外部的电脑同⼀⽹段的虚拟机配置过程：准备⼯作：构建⼀个集群，⾸先前提条件是每台服务器都要有⼀个固定的IP地址，然后才可能进⾏后续的操作。
所以呢，先把我的两台笔记本电脑全部设置成固定IP（注意，如果像我⼀样使⽤⽆线路由上⽹，那就要把⽆线⽹卡的IP设置成固定IP）。
⽤来做Master节点的PC1:192.168.33.150，⽤来跑虚拟机的宿主笔记本：192.168.33.157。
⽬标：VM1和VM2的IP地址分别设置成192.168.33.151和152。
步骤：1）新建VM1虚拟机。
2）打开VM1的⽹卡设置界⾯，连接⽅式选Bridge。
（桥接）关于桥接的具体信息，可以百度⼀下。
我们需要知道的，就是⽤桥接的⽅式，可以让虚拟机通过本机的⽹关来上⽹，所以就可以跟本机处于同⼀个⽹段，互相之间可以进⾏通信。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Hadoop集群在linux下配置第一部分Hadoop 2.2 下载Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。
下载地址:/hadoop/common/hadoop-2.2.0/如下图所示，下载红色标记部分即可。
第二部分集群环境搭建1、这里我们搭建一个由两台机器组成的集群：10.11.1.67 tan/123456 yang10.11.1.57 tan/123456 ubuntu1.1 上面各列分别为IP、user/passwd、hostname1.2 Hostname可以在/etc/hostname中修改1.3 这里我们为每台机器新建了一个账户tan.这里需要给每个账户分配sudo的权限。
（切换到root账户，修改/etc/sudoers文件，增加：tan ALL=(ALL) ALL ）2、修改/etc/hosts 文件，增加两台机器的ip和hostname的映射关系10.11.1.67 yang10.11.1.57 ubuntu3、打通yang到ubuntu的SSH无密码登陆3.1 安装ssh一般系统是默认安装了ssh命令的。
如果没有，或者版本比较老，则可以重新安装：sudo apt-get install ssh3.2设置local无密码登陆安装完成后会在~目录（当前用户主目录，即这里的/home/tan）下产生一个隐藏文件夹.ssh（ls -a 可以查看隐藏文件）。
如果没有这个文件，自己新建即可（mkdir .ssh）。
具体步骤如下：1、进入.ssh文件夹2、 ssh-keygen -t rsa 之后一路回车（产生秘钥）3、把id_rsa.pub 追加到授权的key 里面去（cat id_rsa.pub >> authorized_keys）4、重启SSH 服务命令使其生效:service ssh restart此时已经可以进行ssh localhost的无密码登陆【注意】：以上操作在每台机器上面都要进行。
3.3设置远程无密码登陆这里只有yang是master，如果有多个namenode，或者rm的话则需要打通所有master 都其他剩余节点的免密码登陆。
（将yang的authorized_keys追加到ubuntu的authorized_keys）进入yang的.ssh目录scp authorized_keys tan@ubuntu:~/.ssh/ authorized_keys_from_yang进入ubuntu的.ssh目录cat authorized_keys_from_yang >> authorized_keys至此，可以在yang上面ssh tan@ubuntu进行无密码登陆了。
4、安装jdk注意：这里选择下载jdk并自行安装，而不是通过源直接安装（apt-get install）4.1、下载jdk（/technetwork/java/javase/downloads/index.html）4.1.1 对于32位的系统可以下载以下两个Linux x86版本（uname -a 查看系统版本）4.1.2 64位系统下载Linux x64版本(即x64.rpm和x64.tar.gz)4.2、安装jdk（这里以.tar.gz版本，32位系统为例）安装方法参/javase/7/docs/webnotes/install/linux/linux-jdk.html4.2.1 选择要安装java的位置，如/usr/目录下，新建文件夹java(mkdir java)4.2.2 将文件jdk-7u40-linux-i586.tar.gz移动到/usr/java4.2.3 解压：tar -zxvf jdk-7u40-linux-i586.tar.gz4.2.4 删除jdk-7u40-linux-i586.tar.gz（为了节省空间）至此，jkd安装完毕，下面配置环境变量4.3、打开/etc/profile（vim /etc/profile）在最后面添加如下内容：JAVA_HOME=/usr/java/jdk1.7.0_40（这里的版本号1.7.40要根据具体下载情况修改）CLASSPATH=.:$JAVA_HOME/lib.tools.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATH4.4、source /etc/profile4.5、验证是否安装成功：java–version【注意】每台机器执行相同操作，最后将java安装在相同路径下5、关闭每台机器的防火墙ufw disable (重启生效)第三部分Hadoop 2.2安装过程由于hadoop集群中每个机器上面的配置基本相同，所以我们先在namenode上面进行配置部署，然后再复制到其他节点。
所以这里的安装过程相当于在每台机器上面都要执行。
【注意】：master和slaves安装的hadoop路径要完全一样，用户和组也要完全一致1、解压文件将第一部分中下载的hadoop-2.2.tar.gz解压到/home/tan路径下。
然后为了节省空间，可删除此压缩文件，或将其存放于其他地方进行备份。
2、 hadoop配置过程配置之前，需要在cloud001本地文件系统创建以下文件夹：~/dfs/name~/dfs/data~/temp这里要涉及到的配置文件有7个：~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh~/hadoop-2.2.0/etc/hadoop/yarn-env.sh~/hadoop-2.2.0/etc/hadoop/slaves~/hadoop-2.2.0/etc/hadoop/core-site.xml~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml~/hadoop-2.2.0/etc/hadoop/mapred-site.xml~/hadoop-2.2.0/etc/hadoop/yarn-site.xml以上文件默认不存在的，可以复制相应的template文件获得。
配置文件1：hadoop-env.sh修改JAVA_HOME值（export JAVA_HOME=/usr/java/jdk1.7.0_40）配置文件2：yarn-env.sh修改JAVA_HOME值（exportJAVA_HOME=/usr/java/jdk1.7.0_40）配置文件3：slaves （这个文件里面保存所有slave节点）写入以下内容：Ubuntu配置文件4：core-site.xml<configuration><property><name>fs.defaultFS</name><value>hdfs://yang:9000</value></property><property><name>io.file.buffer.size</name><value>131072</value><property><name>hadoop.tmp.dir</name><value>file:/home/hduser/tmp</value><description>Abase for other temporarydirectories.</description></property><property><name>hadoop.proxyuser.tan.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.tan.groups</name><value>*</value></property></configuration>配置文件5：hdfs-site.xml<configuration><property><name>node.secondary.http-address</name><value>yang:9001</value><property><name>.dir</name><value>file:/home/tan/dfs/name</value> </property><property><name>dfs.datanode.data.dir</name><value>file:/home/tan/dfs/data</value> </property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property></configuration>配置文件6：mapred-site.xml<configuration><property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>yang:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>yang:19888</value></property></configuration>配置文件7：yarn-site.xml<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value> </property><property><name>yarn.resourcemanager.address</name><value>yang:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value> yang:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value> yang:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value> yang:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value> yang:8088</value></property></configuration>3、复制到其他节点这里可以写一个shell脚本进行操作（有大量节点时比较方便）cp2slave.sh#!/bin/bashscp /home/tan/hadoop/etc/hadoop/slaves tan@ubuntu:~/hadoop/etc/ hadoop/slavesscp /home/tan/hadoop/etc/hadoop/core-site.xmltan@ubuntu:~/hadoop/etc/hadoop/core-site.xmlscp /home/tan/hadoop/etc/hadoop/hdfs-site.xmltan@ubuntu:~/hadoop/etc/hadoop/hdfs-site.xmlscp /home/tan/hadoop/etc/hadoop/mapred-site.xmltan@ubuntu:~/hadoop/etc/hadoop/mapred-site.xmlscp /home/tan/hadoop/etc/hadoop/yarn-site.xmltan@ubuntu:~/hadoop/etc/hadoop/yarn-site.xml4、启动验证4.1 启动hadoop进入安装目录：cd ~/hadoop/格式化namenode：./bin/hdfs namenode –format启动hdfs: ./sbin/start-dfs.sh此时在yang上面运行的进程有：namenode secondarynamenodeubuntu上面运行的进程有：datanode启动yarn: ./sbin/start-yarn.sh此时在yang上面运行的进程有：namenode secondarynamenode resourcemanager ubuntu上面运行的进程有：datanode nodemanaget查看集群状态：./bin/hdfs dfsadmin –report此时hadoop集群已全部配置完成！！！【注意】：而且所有的配置文件<name>和<value>节点处不要有空格，否则会报错！。