hadoop3.0.0源码编译
hadoop源码编译问题（Hadoopsourcecodecompilerproblem）
hadoop源码编译问题（Hadoop source code compiler problem）[错误]执行失败的目标组织Apache Maven。
插件：Maven窦插件：1.6：运行（编译原）项目Hadoop常见：发生了一个蚂蚁buildexception：exec返回：1 -> [ 1 ]帮助org.apache.maven.lifecycle.lifecycleexecutionexception：未能执行目标组织Apache Maven。
插件：Maven窦插件：1.6：运行（编译原）项目Hadoop常见：发生了一个蚂蚁buildexception：exec返回：1在牛津。
Apache Maven。
生命周期内。
mojoexecutor。
执行（mojoexecutor。
java：217）在牛津。
Apache Maven。
生命周期内。
mojoexecutor。
执行（mojoexecutor。
java：153）在牛津。
Apache Maven。
生命周期内。
mojoexecutor。
执行（mojoexecutor。
java：145）在牛津。
Apache Maven。
生命周期内。
lifecyclemodulebuilder。
buildproject（lifecyclemodulebuilder。
java：84）在牛津。
Apache Maven。
生命周期内。
lifecyclemodulebuilder。
buildproject（lifecyclemodulebuilder。
java：59）在牛津。
Apache Maven。
生命周期内。
lifecyclestarter。
singlethreadedbuild（lifecyclestarter。
java：183）在牛津。
Apache Maven。
生命周期内。
lifecyclestarter。
执行（lifecyclestarter。
java：161）在牛津。
Windows10x64下编译Hadoop源码
Windows10x64下编译Hadoop源码Windows 10 x64 下编译 Hadoop 源码环境准备Hadoop并没有提供官⽅的 Windows 10 下的安装包，所以需要⾃⼰⼿动来编译，官⽅⽂档中 BUILDING.txt ⽂件中说明了编译源码需要的软件环境：# 1. 具体如下:Hadoop源码Windows 系统JDK 1.8+Maven 3.0 or laterFindbugs 1.3.9 (可省略)ProtocolBuffer 2.5.0CMake 2.6 or newerWindows SDK or Visual Studio 2010 ProfessionalCygwin: 为了使⽤ sh, mkdir, rm, cp, tar, gzip 等命令zlib电脑需要联⽹# 2. Hadoop源码下载可以地址 @选择具体版本即可# 3. JDKJAVA_HOME=JDK⽬录CLASSPATH=.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\jre\lib;PATH=%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;注意：Hadoop2.7.0 及之后最好使⽤JDK1.7及1.8以上版本进⾏编译，我使⽤的版本如下C:\Users\ZhaoBo>java -versionjava version "1.8.0_181"Java(TM) SE Runtime Environment (build 1.8.0_181-b13)Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)# 4. Maven下载地址：@M2_HOME=maven⽬录PATH=%M2_HOME%\bin;我使⽤的版本是3.6.0：C:\Users\ZhaoBo>mvn -versionApache Maven 3.6.0 (97c98ec64a1fdfee7767ce5ffb20918da4f719f3; 2018-10-25T02:41:47+08:00)Maven home: D:\apache-maven-3.6.0\bin\..Java version: 1.8.0_181, vendor: Oracle Corporation, runtime: C:\jdk\jdk1.8.0_181\jreDefault locale: zh_CN, platform encoding: GBKOS name: "windows 10", version: "10.0", arch: "amd64", family: "windows"# 5. ProtocolBuffer下载地址：@ protoc-2.5.0-win32.zip 版本, 解压到安装⽬录，并添加到PAHT，如下：PATH=C:\java\protoc-2.5.0-win32;测试：C:\Users\ZhaoBo>protoc --versionlibprotoc 2.5.0# 6. CMake要求 CMake 2.6+ 的版本，下载地址：@ 下载并解压到安装⽬录，并添加bin⽬录到PATH，由于cygwin中也带了个cmake，所以在Path中，cmake 的bin⽬录得加在cygwin的bin ⽬录之前：CMAKE_HOME=cmake⽬录PATH=%CMAKE_HOME%\bin;测试：C:\Users\ZhaoBo>cmake --versioncmake version 3.14.3CMake suite maintained and supported by Kitware (/cmake).# 7. Visual StudioVS的版本选择有两种，第⼀使⽤推荐的VS2010企业版，使⽤这个版本⽐较简单⽅便，或者使⽤最新的VS2015版，需要升级⼀些⽂件。
hadoop3 源码编译
hadoop3 源码编译
编译hadoop 3源码需要以下几个步骤：
1. 确认编译环境
Hadoop 3要求使用JDK 8或更高版本进行编译。
同时需要安装Maven 3.3或更高版本作为构建工具.
2. 下载源代码
从Apache官方网站下载最新的Hadoop v3源代码包并解压缩。
3. 修改配置文件
进入hadoop-3.x-src/hadoop-project-dist/hadoop-common目录，编辑pom.xml文件，将hadoop.version属性设置为当前版本号。
4. 编译代码
在hadoop-3.x-src目录下使用以下命令编译源代码：
```
mvn clean install -DskipTests
```
这将编译hadoop的所有模块，并将构建的JAR文件安装到本地Maven存储库中。
5. 配置环境变量
将以下环境变量添加到你的~/.bashrc文件中：
```
export HADOOP_HOME=/path/to/hadoop-3.x-src/hadoop-
dist/target/hadoop-3.x.x
export PATH=PATH:HADOOP_HOME/bin:HADOOP_HOME/sbin
```
替换/path/to/为你的Hadoop源代码目录。
6. 测试安装
重启终端后，使用以下命令验证Hadoop安装是否成功：
```
hadoop version
```
如果一切顺利，你应该能够看到安装的版本号。
以上是Hadoop 3源代码的编译流程。
Windows10安装Hadoop3.0.0
Windows10安装Hadoop3.0.0前⾔准备：7Zip下载：压缩⼯具，⽀持*.tar.gz格式的压缩⽂件解压Hadoop下载：，笔者选择3.0.0版本下载，官⽹下载的⽹速如同断⽹。
winutils下载：，Hadoop不直接⽀持Windows，使⽤⼯具集进⾏⽀持。
JDK1.8及其以上版本，⾃⾏安装，并配置JAVA_HOME环境变量。
1. ⽂件准备hadoop3.0.0：a. 将原始hadoop-3.0.0下bin⽬录备份;b. 使⽤winutils中的bin⽬录整个替换hadoop中的bin⽬录：c. 在hadoop-3.0.0下按⽬录创建如下⽂件夹：JDK1.8:2. 配置准备2.1 配置环境变量：2.2 编辑hadoop配置⽂件a. hadoop配置⽂件⽬录：b. 配置hadoop-env.cmd, 这⾥将JAVA_HOME换成绝对⽬录(不确定不换可不可以)c. core-site.xml 添加如下配置1<configuration>2<property>3<name></name>4<value>hdfs://localhost:9000</value>5</property>6</configuration>d. hdfs-site.xml添加如下配置1<configuration>2<property>3<name>dfs.replication</name>4<value>1</value>5</property>6<property>7<name>dfs.permissions</name>8<value>false</value>9</property>10<property>11<name>.dir</name>12<value>/D:/hadoop-3.0.0/data/namenode</value>13</property>14<property>15<name>fs.checkpoint.dir</name>16<value>/D:/hadoop-3.0.0/data/snn</value>17</property>18<property>19<name>fs.checkpoint.edits.dir</name>20<value>/D:/hadoop-3.0.0/data/snn</value>21</property>22<property>23<name>dfs.datanode.data.dir</name>24<value>/D:/hadoop-3.0.0/data/datanode</value>25</property>2627</configuration>e. mapred-site.xml添加如下配置1<configuration>2<property>3<name></name>4<value>yarn</value>5</property>67</configuration>f. yarn-site.xml添加如下配置1<configuration>2<!-- Site specific YARN configuration properties -->3<property>4<name>yarn.nodemanager.aux-services</name>5<value>mapreduce_shuffle</value>6</property>7<property>8<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> 9<value>org.apache.hadoop.mapred.ShuffleHandler</value>10</property>11</configuration>3. 初始化与运⾏使⽤管理员权限运⾏命令⾏3.1 namenode格式化使⽤如下命令进⾏格式化：hdfs namenode -format根据提⽰输⼊y，格式化成功结果如下：3.2 运⾏hadoop进⼊Hadoop的sbin⽬录，执⾏命令：start-all启动四个服务窗⼝：四个服务如下图所⽰：启动成功。
Win10下hadoop3.0.0单机部署
Win10下hadoop3.0.0单机部署前⾔因近期要做 hadoop 有关的项⽬，需配置 hadoop 环境，简单起见就准备进⾏单机部署，⽅便开发调试。
顺便记录下采坑步骤，⽅便碰到同样问题的朋友们。
安装步骤⼀、下载 hadoop-XXX.tar.gz下载地址：将⽂件解压⾄⽆空格⽬录下，好像时间有那么点点久。
注：解压需管理员权限！！！添加环境变量添加HADOOP_HOME配置在 path 中添加 bin ⽬录 C:\hadoop-3.0.0\binJAVA_HOME⼆、hadoop配置1、修改C:/hadoop-3.0.0/etc/hadoop/core-site.xml配置:<configuration><property><name></name>2、修改C:/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:3、在C:/hadoop-3.0.0⽬录下创建data⽬录，作为数据存储路径：在D:/hadoop-3.0.0/data ⽬录下创建datanode ⽬录；在D:/hadoop-3.0.0/data ⽬录下创建namenode⽬录；4、修改C:/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:5、修改C:/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:<value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>/C:/hadoop-3.0.0/data/tmp</value></property></configuration><configuration><property><name></name><value>yarn</value></property></configuration><configuration><!-- 这个参数设置为1，因为是单机版hadoop --><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.permissions</name><value>false </value></property><property><name>.dir</name><value>/C:/hadoop-3.0.0/data/namenode</value></property><property><name>fs.checkpoint.dir</name><value>/C:/hadoop-3.0.0/data/snn</value></property><property><name>fs.checkpoint.edits.dir</name><value>/C:/hadoop-3.0.0/data/snn</value></property><property><name>dfs.datanode.data.dir</name><value>/C:/hadoop-3.0.0/data/datanode</value></property></configuration><configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.auxservices.mapreduce.shuffle.class </name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>6、修改C:/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置，添加7、bin⽬录替换⾄下载解压,然后找到对应的版本后完整替换bin⽬录即可⾄此，我们的配置就完成了三、启动服务1、打开cmd2、通过start-all.cmd启动服务：然后可以看到同时打开了4个cmd窗⼝Hadoop NamenodeHadoop datanodeYARN Resourc ManagerYARN Node Manager通过即可查看集群所有节点状态：</property></configuration>set JAVA_HOME=%JAVA_HOME%set HADOOP_PREFIX=%HADOOP_HOME%set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop set YARN_CONF_DIR=%HADOOP_CONF_DIR%set PATH=%PATH%;%HADOOP_PREFIX%\bincd C:\hadoop-3.0.0\binhdfs namenode -formatC:\hadoop-3.0.0\sbin\start-all.cmd访问即可查看⽂件管理页⾯：总结⼀次还算⽐较顺利的采坑，后⾯准备开始肝项⽬了 orz。
hadoop源码编译
hadoop源码编译Hadoop是目前最流行的分布式计算框架之一，广泛应用于大数据领域。
为了更好地理解Hadoop的内部运行机制，我们有时需要对其源码进行深入研究和编译。
下面就来一步步讲解如何编译Hadoop源码。
一、环境准备在开始编译Hadoop源码之前，需要安装一些必备的软件和环境。
首先要确保已经安装了Java JDK和Maven，其中Java JDK的版本应该至少是1.7或1.8，而Maven则需要3.0以上的版本。
其次需要安装SSH，这是Hadoop用于节点之间通信和管理的必备组件。
最后需要下载Hadoop源码压缩包，解压到本地文件夹。
二、修改配置文件在进行编译过程之前，还需要修改一些Hadoop的配置文件。
具体来说，需要先修改pom.xml文件中的Hadoop版本号，确保与本地安装的版本一致。
然后需要修改hadoop-common-project/hadoop-common/src/main/conf/hadoop-metrics2.properties文件中的hostname值，确保与你当前的主机名一致。
三、编译源码当所有环境准备工作完成后，就可以开始编译Hadoop源码了。
首先需要在hadoop源码文件夹下运行以下命令，生成configure脚本：$ ./bootstrap.sh接着需要执行configure命令，生成Makefile：$ ./configure这个命令会检查编译环境，并根据环境配置参数。
最后，你需要执行make命令来编译Hadoop源码：$ mvn package -Pdist,native -DskipTests -Dtar以上命令会编译生成Hadoop发布版本，并将所有生成的二进制文件打成一个.tar包。
编译过程需要一定的时间，具体取决于你的电脑性能和网络速度。
四、启动HadoopHadoop源码编译完成之后，就可以启动它了。
首先需要将生成的.tar包解压到一个文件夹中：$ tar xf hadoop-x.x.x.tar.gz然后使用以下命令添加环境变量：$ export HADOOP_HOME=/path/to/hadoop-x.x.x$ export PATH=$PATH:$HADOOP_HOME/bin至此，Hadoop就已经编译成功并且可以在本地运行了。
hadoop3 源码编译
hadoop3 源码编译
Hadoop3是一款开源的分布式存储和计算框架，它提供了强大的数据处理能力。
如果你想了解Hadoop3的源码编译过程，可以参考以下步骤：
1. 下载Hadoop3源码：你可以从Hadoop官网或GitHub上获取Hadoop3的源代码。
2. 安装必要的软件：在编译Hadoop3之前，你需要安装一些必要的软件，包括Java、Maven和CMake等。
3. 编译Hadoop3：进入Hadoop3源码目录，执行以下命令：
mvn package -Pdist,native -DskipTests -Dtar
上述命令会创建一个包含Hadoop3二进制文件和配置文件的tar 包。
4. 安装Hadoop3：解压上一步生成的tar包，并将解压后的文件复制到你想要安装Hadoop3的目录。
5. 配置Hadoop3：在安装完成后，你需要对Hadoop3进行配置。
配置文件位于Hadoop3的安装目录下。
6. 启动Hadoop3：执行以下命令启动Hadoop3：
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
以上是Hadoop3源码编译的基本步骤，如果你想深入了解Hadoop3的源码，可以阅读Hadoop3的官方文档或参考Hadoop3的源码。
配置eclipse编译_开发Hadoop(MapReduce)源代码
3. 安装 Subclipse（Eclipse 的 SVN 插件）
用于从 Hadoop 获得源代码。我们使用 eclipse 自带的软件安装功能，通过 Subclipse 提供的地址自动下载安装该插件。
•首先访问，在Download and Install页面找到与Eclipse版本合适的Subclipse版本，最新为1.6，将其Eclipse update site URL
•如果选择 release 版本，需进入 tags 目录浏览，找到所需的版本，如 0.21.0 版 MapReduce 源代码地址为：/repos/asf/hadoop/common/tags/release-0.21.0/mapreduce
确定好 SVBiblioteka 地址后，本地 eclipse 需要的操作如下：
将其下的三个全选，然后像subclipse一样安装上。安装好之后，进入Window-Preferences-Team-svn，将svn本地接口选择上安装的那个（下拉就可以看到）。
4. 下载 Hadoop（MapReduce）源代码
首先，Hadoop 源代码共包括 common、hdfs（分布式文件系统）、mapred（MapReduce） 三部分，它们之间存在依赖关系：common 是后两者的公共组件，mapred
查看Window-Preferences-Team-svn，会发现svn本地接口显示为不可用。
可以通过以下方法解决（安装svn所需kit）：
打开 eclipse 的菜单 Help > Install New Software，填入上边安装subclipse时所用的安装地址（即 /update_1.6.x），选择第三个subclipse svnkit option，
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.
2.编译步骤
(1)jdk安装和部署
1.安装jdk
cd /home/lly/下载/hadoop/
rpm –ivhjdk-8u101-linux-x64.rpm
2.添加环境变量
$sudo vim /etc/profile
3.加入如下内容
export JAVA_HOME=/usr/java/jdk1.8.0_101
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JER_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JER_HOME/bin:$PATH
按”esc”
:w
:q
4.立刻应用改变
$sudo source /etc/profile
5.测试
java –version
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)
(2)maven安装和部署
1.解压
cd /home/lly/下载/hadoop/
tarzxvfapache-maven-3.3.9-bin.tar.gz -C /usr/soft
2.添加环境变量
$sudo vim /etc/profile
3.加入如下内容
export MAVEN_HOME=/usr/soft/apache-maven-3.3.3
export PATH=.:$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin
按”esc”
:w
:q
4.立刻应用改变
$sudo source /etc/profile
5.测试
mvn -version
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5;
2015-11-11T00:41:47+08:00)
Maven home: /usr/soft/apache-maven-3.3.9
Java version: 1.8.0_101, vendor: Oracle Corporation
Java home: /usr/java/jdk1.8.0_101/jre
(3)依赖安装
1.输入命令
$sudoyum install g++ autoconfautomakelibtoolcmakezlib1g-dev pkg-configlibssl-de (4)安装cmake
1.解压
cd /home/lly/下载/hadoop/
tarzxvfcmake-3.6.2.tar.gz -C /usr/soft
2.安装
cd/usr/soft/cmake-3.6.2
./bootstrap
make
make install
3.测试
cmake–version
(5)安装protobuf
1.解压
cd /home/lly/下载/hadoop/
tarzxvfprotobuf-2.5.0.tar.gz -C /usr/soft
2.安装
cd/usr/soft/protobuf-2.5.0
./configure --prefix=/usr/soft/protobuf-2.5.0
make
make install
3.安装成功后可将编译程序链接到系统bin目录下，以免每次使用都加绝对路径
cd /usr/soft/protobuf-2.5.0/bin
ln -s /usr/soft/protobuf-2.5.0/bin/protoc /usr/bin/protoc
4.测试（出现libprotoc 2.
5.0证明成功）
protoc --version
(6)编译hadoop3.0
1.解压
cd /home/lly/下载/hadoop/
tarzxvfhadoop-3.0.0-alpha1-src.tar.gz -C /usr/soft
2.进入hadoop-2.7.1-src目录，执行编译
cd /usr/soft/ hadoop-3.0.0-alpha1-src/
mvn clean package -Pdist,native -DskipTests–Dtar
3.缺少zlib
yum -y install zlib-devel
4.缺少openssl
yum -y install openssl
cmake -DCMAKE_PREFIX_PATH=/usr/local/opt/openssl。