win7+eclipse+hadoop开发环境搭建
基于Eclipse的Hadoop应用开发环境的配置
基于Eclipse的Hadoop应用开发环境的配置/s/blog_537770820100byho.html基于Eclipse的Hadoop应用开发环境的配置配置好了Hadoop运行环境，下一步就要配置，开发环境了。
实际上开发环境很好配置，网上很多的帖子，都指向了IBM提供的Hadoop开发工具，这个工具很好用。
大家打开这个网址，很容易就能Step by step搞定，/tech/mapreducetools。
但是细心的读者不难发现，这个工具似乎是个绝版，到现在似乎还是停留在2007年3月23日呢，而且其支持的Eclipse也是3.3的，Hadoop更是0.17的。
很多人在forum上还抱怨，安装上这个工具后，报出错误：Refresh DFS Children has encountered a problem：Refreshing DFS node failed: 1。
呵呵，这个问题我也遇到了，我也很郁闷。
我心里也在骂IBM这帮官僚如此不思进取。
这两天我在装载Hadoop Core的Examples测试，由于想要多了解些Hadoop，于是就打开了Hadoop的每个子目录，在打开/hadoop-0.19.0 /contrib/意外发现了eclipse-plugin，心里不禁窃喜，不知道是不是IBM的这个工具的升级版移到这里还是其他什么原因，工具不是在这里吗？只不过与以前不同，是个jar包！我把hadoop-0.19.0-eclipse-plugin.jar，拷贝到eclipse-SDK- 3.4-win32\eclipse\plugins下面，启动eclipse，居然真的安装成功了，真的是该工具的升级版，也没有了那个错误！真的是很意外！界面是这样滴，选择Window->Open Perspective，可见到一个窗口，里面有一个小象图标：Map/Reduce，点击它，会打开一个新的Perspective。
配置hadoop
配置hadoop配置hadoop-eclipse开发环境由于hadoop-eclipse-1.2.1插件需要自行编译，所以为了图省事而从网上直接下载了这个jar包，所以如果有需要可以从点击并下载资源。
下载这个jar包后，将它放置在eclipse/plugins目录下，并重启eclipse即可。
如果你需要自己编译该插件，请参考文献。
配置hadoop-1.2.1与eclipse链接信息如果没有意外，在你的eclipse的右上角应该出现了一只蓝色的大象logo，请点击那只大象。
之后，在正下方的区域将会多出一项Map/Reduce Locations的选项卡，点击该选项卡，并右键新建New Hadoop Location。
这时应该会弹出一个对话框，需要你填写这些内容：•Location name•Map/Reduce Master•DFS Master•User nameLocation name指的是当前创建的链接名字，可以任意指定；Map/Reduce Master指的是执行MR的主机地址，并且需要给定hdfs协议的通讯地址；DFS Master指的是Distribution File System 的主机地址，并且需要给定hdfs协议的通讯地址；User name指定的是链接至Hadoop的用户名。
参考上一篇文章的设计，hadoop-1.2.1集群搭建，这里的配置信息将沿用上一篇文章的设定。
因此，我们的设置情况如下数之后确认，这样便在eclipse左边出现了HDFS的文件结构。
但是现在你只能查看，而不能添加修改文件。
因此你还需要手工登录到HDFS上，并使用命令修改权限。
在完成这些步骤后，需要配置最后的开发环境了。
配置开发环境如果是在Windows上模拟远程开发，那么你需要将hadoop-1.2.1.tar.gz解压一份，我们将解压后得到的hadoop-1.2.1放置在documents里之后，打开 eclipse -> Preferences -> Hadoop Map/Reduce，将解压后的路径添加在hadoop installation directory 中，并点击apply使设置生效。
eclipse开发hadoop程序
hadoop Map/Reduce开发实例1) Eclipse插件配置与程序开发在windows下开发Map/Readuce程序，首先要在windows安装cygwin，目的是让hadoop在执行过程中可以用到linux下的一些shell命令，sygwin则给window装了一个linux外壳。
配置eclipse及运行程序具体步骤如下：1. 安装cygwin步骤略过（网上安装步骤很多，因为不是此篇文章重点，不再赘述）但值得注意的在安装过程中一定要安装以下部分(1). net下的openssh和openssl，base下的sed，devel下的subversion(2). 设置环境变量path，需要设置 Cygwin 的bin 目录，具体是否需要设置 Cygwin 的usr\bin 目录还不是很确定，但本人设置了提示：cygwin安装完成后会有cygwin ssd服务在windows服务中，可以启动也可以不启动。
2. 下载并安装hadoop，（本人使用hadoop0.20.2版本）下载：/dyn/closer.cgi/hadoop/core/安装：即将hadoop-0.20.2.tar.gz解压即可2. 下载并安装hadoop eclipse插件(1)下载插件：https:///jira/browse/MAPREDUCE-1280（注意：此hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar插件支持eclipse3.4+，hadoop0.20.2目录 hadoop-0.20.2\contrib\eclipse-plugin中的插件只支持到eclipse3.3版本，版本不支持的话，导致插件不能正常使用。
）(2). 将插件拷贝到eclipse的plugins目录中（使用其他方法装载插件也可以），启动eclipse(3). 配置插件a.打开eclipse -->window->open prespective，可见并打开“ Map/Reduce ” 视图，如图：b. 打开eclipse -->window->show view, 可见并打开MapReduce tool --> Map/Reduce locations ，点击新建locations，视图如下：General选项卡各个参数说明：Location name:本地视图的location名称，自己自定义一个名称即可Map/Reduce Master组内host和port: 为Map/Reduce Master的地址与端口号，此地址端口与hadoop服务器安装配置过程中conf/mapred-site.xml文件中mapred.job.tracker节点值一致。
hadoop单机部署、集群部署及win7本地Eclipse远程配置管理
准备工作：Window版hadoop下载地址：/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz下载Eclipse hadoop的插件地址：hadoop-eclipse-plugin-1.2.1.jarLinux Hadoop下载地址：/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz在linux服务器上创建用户名为hadoop的用户：[root@localhost ~]# useradd hadoop设置密码：[root@localhost ~]# passwd hadoop添加hadoop用户使用vim、vi等命令的权限：[root@localhost ~]# vim /etc/sudoersroot ALL=(ALL) ALLhadoop ALL=(ALL) ALL此处保存是可能需要使用:wq!强制保存。
以下文档如无特殊说明均使用hadoop账户进行操作1.Hadoop单机部署1.下载hadoop-1.2.1.tar.gz文件。
2.运行命令tar zxvf hadoop-1.2.1.tar.gz将hadoop解压到自己喜欢的目录下（我的解压在/usr/local/目录下）3.编辑hadoop-1.2.1目录下的conf/hadoop-env.sh文件，将其中的JA V A_HOME配置为自己的jdk目录（如我的为：JA V A_HOME=/usr/local/jdk1.7.0_60）4.到此出Hadoop单机部署基本完成。
5.单机模式的操作方法默认情况下，Hadoop被配置成以非分布式模式运行的一个独立Java进程。
这对调试非常有帮助。
下面的实例将已解压的 conf 目录拷贝作为输入，查找并显示匹配给定正则表达式的条目。
输出写入到指定的output目录。
[hadoop@localhost hadoop-1.2.1]$ mkdir input[hadoop@localhost hadoop-1.2.1]$ cp conf/*.xml input[hadoop@localhost hadoop-1.2.1]$ bin/hadoop jar hadoop-examples-1.2.1.jargrep input output 'dfs[a-z.]+' $ cat output/*注：语法不理解没关系看下面进一步说明显示结果 1 dfsadmin2.Hadoop伪分布式模式部署1.下载hadoop-1.2.1.tar.gz文件。
Cygwin+Eclipse搭建Hadoop开发环境
Cygwin的安装1.先在/install.html上下载安装文件打开后双击setup.exe安装。
如下图：2. 直接点击下一步后如下图：图中有三个选项，意思一看就懂啊。
这里直选择下一步3.直接点击下一步后如下图:这里是要选择安装路径，设置在哪里都可以。
没有特殊要求。
4. 设置好路径后下一步进入下图：这是设置Cygwin安装文件的目录。
先安装的exe只是个引导它需要自己下载安装文件。
设置这个目录就是存储这些文件的。
5.设置好后下一步进入下图：这里是你网络的链接方式，第一个是直接链接，第二个是使用IE代理，第三个使用你指定的HTTP/FTP代理。
你要根据你自己的情况选择。
通常选第一个如不好使则查看你的联网是否使用了代理用了就选下面两个中的一个。
6.设置好后下一步进入下图：选择其中一个url用作下载的站点。
我选第一就行挺快的。
你的不行可以试试别的。
也可以在下面的User URL中添加url写完地址一点Add就加入到上面的url列表中了。
然后选择你自己加入的url即可。
如果自己加入可以尝试一下这个url：/pub/。
然后点击下一步进行安装文件的下载，需要点时间。
如果点击下一步后出现这个错误Internal Error: gcrypt library error 60 illegal tag。
就是上一步网络选择的问题或者选择的url不能下载。
自己可以尝试改动一下。
正常下载的话也可能出现一个警告窗口如下图：点击确定即可。
随即会进入下图。
7. 来到此图就要开始进行一些配置了。
选择一下要安装的包。
如下图：首先：选择其中的Base Default，通常这里的包都已经选择上了。
你要确保sed已选择上，这样你可以在eclipse中使用hadoop了。
如下图这样即可：其次：选择Devel Default，将其中的subversion选中第一个即可。
如下图：最后：选择Net default包，将其中的openssh及openssl选上。
windows7安装eclipse3.7搭建c,c++开发环境
Windows 7安装Eclipse 搭建C/C++开发环境分类：C++技术2011-11-06 17:04 508人阅读评论(0) 收藏举报Windows 7安装Eclipse 搭建C/C++开发环境(2011-07-28 11:27:48)操作系统：Windows 7 SP1软件：JRE1. 安装JRE由于Eclipse本身是用Java开发而成，因此自然需要使用到JRE（Java Runtime Environment），如果先前已经安装过就可以不必安装了。
JRE下载地址：2. 安装Eclipse进入下载Eclipse Classic版本，下面是Eclipse Classic 的下载链接：解压至C:\Program Files，在桌面上创建的快捷方式。
3. 安装CDT进入下载跟Eclipse对应版本的CDT（C/C++ Development Tooling），下面是CDT 的下载链接：&url=&mirror_id=1093打开Eclipse，进入菜单Help，选择Install New Software…，点击右边Add按钮，在Add Repository对话框中点击右下角的Archive…，浏览到你之前下载保存路径，选中并双击，勾选所有CDT部件，然后点击Next>，继续Next>，选中“I accept the terms of the license agreement –Finish”，点击Finish开始安装CDT。
安装完CDT后重启Eclipse。
4. 安装MinGW进入projects/mingw/files/MinGW/下载最新的下载器MinGW-Get，这里使用，双击运行，选择安装路径，把MinGW安装C:\MinGW，选择“C++ Compiler”和“MSYS Basic System”两个组建，然后开始下载安装。
由于网络等原因，安装过程中会提示有两个文件下载不了，安装不完整：前者可以在sourceforge网站上找到，后者没有找到，但是都无法下载，后来动用百毒和股沟，再加上fg715p，终于在网上下到了这两个文件，把他们拷贝到以下路径：C:\MinGW\var\cache\mingw-get\packages然后重新运行，这样才安装完整。
hadoop集群eclipse安装配置
第二步： 选择"Window"菜单下的"Preference"， 然后弹出一个窗体， 在窗体的左侧， 有一列选项， 里面会多出"Hadoop Map/Reduce"选项， 点击此选项， 选择 Hadoop 的安装目录 （如我的 Hadoop 目录： E:\HadoopWorkPlat\hadoop-1.0.0） 。 结果如下图：
"中的"
"，点击"Other"选项，也可以弹出上图，从中选
7 / 30
第四步：建立与 Hadoop 集群的连接，在 Eclipse 软件下面的"Map/Reduce Locations"进行右击，弹出一个选项，选 择"New Hadoop Location"，然后弹出一个窗体。
8 / 30
注意上图中的红色标注的地方，是需要我们关注的地方。
hadoop fs -ls
Байду номын сангаас
12 / 30
到此为止，我们的 Hadoop Eclipse 开发环境已经配置完毕，不尽兴的同学可以上传点本地文件到 HDFS 分布式文件上， 可以互相对比意见文件是否已经上传成功。 3、Eclipse 运行 WordCount 程序 配置 Eclipse 的 JDK 如果电脑上不仅仅安装的 JDK6.0，那么要确定一下 Eclipse 的平台的默认 JDK 是否 6.0。从"Window"菜单下选择 "Preference"，弹出一个窗体，从窗体的左侧找见"Java"，选择"Installed JREs"，然后添加 JDK6.0。下面是我的默认选择 JRE。
Win7_Eclipse_C++开发环境搭建
Win7 Eclipse C++开发环境的搭建与配置1、下载与安装Eclipse下载的Eclipse只须解压在D:\Eclipse文件夹中即可，双击其中eclipse.exe即可使用，但前提是安装了JDK2、安装MinGWMinGW，即“Minimalist GNU for Windows”的缩写，是GNU编译器集和GNU Binutils的一个端口，用来开发本地微软应用程序。
注意：eclipse和MinGW一定要在同级目录下，否则eclipse无法找到MinGW。
比如说，eclipse安装在D:\Eclipse，则MinGW 5.1.6 安装在D:\MinGW文件夹中。
安装：（1）解压后，点击mingw文件夹内的MinGW-5.1.6.exe开始安装。
（2）在安装向导界面上点击next。
（3）点选“Download and Install”，点击next进入下一步。
（4）授权协议界面点击next进入下一步5）安装包选择界面，选取current，点next进入下一步。
（6）安装组件选择界面，选择你需要的组件，然后点next进入下一步。
各组件描述：(本电脑上安装了所有组件)g++ Compiler，C++编译器g77 Compiler，Fortran编译器Ada Compiler，Ada编译器Java Compiler，Java编译器Objective C Compiler，Objective C编译器mingw make，mingw的makefile 解释器(7)在安装目录选择界面，选择mingw的安装目录，默认目录是D:/MinGW，点next到下一步。
8）选择开始菜单文件夹界面，就是你想把程序的快捷方式放到开始菜单的“所有程序”的那个目录下。
点击“Install ”开始正式安装（9）安装程序将你选择的安装包解压到指定的目录中，稍等一会提示安装成功。
（10）点击Finish，结束安装。
环境变量的设置假定MinGW安装在D:/MinGW目录下。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Win7+eclipse+Ubuntu14虚拟机环境下搭建hadoop1.2.1单机模式的开发环境
1.虚拟机下安装ubuntu14操作系统。
**注:（我安装ubuntu的时候的用户名是zjp一下涉及到的所有的zjp都需要换成自己的用名）
2.Ctrl+Alt+t 快捷键可以打开终端。
3.激活root用户sudo passwd root
4.联网的情况下，可以用apt-get install samba命令下载以及安装samba服务器。
这个主要是为了window向ubuntu中上传jdk以及hadoop的安装文件。
(如果apt-get命令无法使用，先用apt-get update安装这个命令。
如果主机联网了，但是ubuntn没有连上网，那么将虚拟机的网络适配器改为NA T模式，并且启动任务管理器。
打开服务，查看VMware NAT service 和WMware DPCH service是否启动，如果没有启动那么就启动这两个服务。
如果还不能联网那就在虚拟机的菜单栏中选择编辑->虚拟网络编辑器，恢复默认设置。
重启一下电脑，如果还是不行，那就没办法了，自求多福！)
5.联网的情况下安装ssh协议apt-get install ssh
6.在/home/zjp 目录下创建两个文件夹1.share用于存放共享文件 2.mysoftware用于存放需要安装的软件
7.配置samba共享su root 切换至root用户gedit /etc/samba/smb.conf 编辑samba 的配置文件在文件的最后添加
[share]
comment=sharedir
path=/home/zjp/share
read only=no
browseable=yes
guest ok=no
7.关闭防火墙ufw disable
8重启samba服务器service samba restart
9创建samba用户smbpasswd -a samba用户名eg:smbpasswd -a zkpk
10ifconfig查看ubuntu的ip地址。
例如ip是192.168.30.128
11打开我的电脑，在地址栏中输入\\192.168.30.128不出意外的话会让你登录，就用创建的samba登录就可以了。
然后把下载好的linux版本的jdk和hadoop的安装文件拷贝进去。
12.再把传到share目录下面的两个文件拷贝到mysoftware中去。
这些准备工作都做好了，就可以安装jdk以及hadoop了
一．先安装jdk
1.在mysoftware目录下用tar -zxvf jdk-7u55-linux-x64.gz命令解压以及安装jdk。
2.配置环境变量
gedit /etc/profile 然后在文件的最末尾添加如下内容:
JA V A_HOME=/home/xkl/mysof/jdk1.7.0_60
export PA TH=$PATH:$JA V A_HOME/bin
OK注销一下Ubuntu然后在终端中输入java -version如果可以看见jdk的版本，说明jdk 安装成功。
二.安装hadoop
1.利用图形界面进入mysoftware->hadoop-1.
2.1->conf目录，然后修改一些配置文件
修改hadoop-env.sh
右键hadoop-env.sh open with gedit 编辑hadoop-env.sh
将export JA V A_HOME=****** 这一行的注释去掉，然后写上自己的jdk的安装目录（/home/zjp/mysoftware/jdk1.7.0_55）
保存一下
修改core-site.xml文件
在configuration标签中加入两个属性：ip地址换成你自己的ip地址即可
<property>
<name>hadoop.tmp.dir</name>
<value>/home/zjp/hadoop/hadooptmp</value>
</property>
<property>
<name></name>
<value>hdfs://192.168.30.128:9000</value>
</property>
修改hdfs-site.xml
同样的方法：在configuration标签中加入一个个属性:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
修改mapred-site.xml
同样的方法：在configuration标签中加入一个个属性:
<property>
<name>mapred.job.tracker</name>
<value>192.168.30.128:9001</value>
</property>
这几项配置代表什么意思可以自己查一下。
2.将hadoop的bin加入环境变量。
这个的意思就跟装jdk的时候添加环境变量是一个意思，就是让系统能够认识hadoop命令.
gedit /etc/profile 然后在文件的最末尾添加如下内容:
export HADOOP_INSTALL=/home/zjp/mysoftware/hadoop-1.2.1
export PATH=$PATH:$HADOOP_INSTALL/bin
重启一下ubuntu打开终端输入hadoop version如果能看见hadoop的版本，说明hadoop的基
本的配置就成功了。
3.切换到mysoftware 目录下，查看一下hadoop-1.2.1的所有者和所属的组是不是你的hadoop 用户，如果不是的话就用chown -R zjp:zjp hadoop-1.2.1修改一下。
否则在以非root用户启动hadoop的时候，会提示没有权限的错误。
4.格式化hdfs
**不要用root用户格式化。
要切换成hadoop用户。
执行命令hadoop namenode -format。
执行完此操作以后在/home/zjp目录下会有一个hadoop 的文件夹。
5.实现linux的ssh无密码验证配置。
这主要是为了启动hadoop的时候不用输入密码.
1.输入ssh-keygen -t rsa 然后一路点enter键，(什么也不用输入)然后进入/home/zkpk/.ssh
将id_rsa.pub 拷贝到authorized_keys文件命令: cp id_rsa.pub authorized_keys
重启一下ssh服务命令:service ssh restart
然后输入ssh localhost或者你的ip地址或者主机名.如果可以登录成功，那就配置成功了
6.测试hadoop启动
进入hadoop的安装目录的bin目录 ./start-all.sh启动hadoop启动过程中如果没有任何异常信息，并且启动完成后用ps -e命令查看一下进程，如果可以看见5个java进程，则说明hadoop成功启动，然后可以运行pi 和wordcount这两个测试程序，如果可以得出正确结果则说明hadoop安装成功.
三．在eclipse中集成hadoop的开发环境
1.再利用samba共享将配置成功的hadoop安装目录传到window系统中
2.将hadoop-eclipse-plugin-1.2.1.jar加入至eclipse中的plugins文件夹中，然后启动eclipse
在菜单栏中选择window->preferences
选择Hadoop Map/Reduce在右侧有一个窗口，在这里面选择你的hadoop在windows中的安装目录。
然后点击window->show view->other
然后在eclipse的控制台的位置出现一个小窗口选项
在下面的空白处右键，选择new hadooplocation
Location name可以随便添，就是一个标识而已，host就添你的ubuntu的ip地址
然后两个端口就按照图添就可以。
填完以后重启一下eclipse然后
在小象这里右键一下，选择edit hadoop location
如果是按照我推荐的方式安装，那就把.dir和其他的一些选项中的zjp换成自己的ubuntu的登录名就可以了
这两项也是一样
这个换成1因为是单机模式所以备份就一个就可以
其实就几个需要改，别的都是自动生成好的。
这些都弄完以后。
在eclipse中就会出现hadoop的文件系统，要稍等一会才能加载完成.
这样就算搭建完成了。