Eclipse搭建hadoop开发环境

1、软件环境

a)Eclipse

b)运行中的hadoop集群

2、eclipse上安装hadoop插件

a)首先将eclipse Hadoop的插件放置到eclipse/plugins目录下，重启eclipse

b)如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有Hadoop

Map/Reduce选项，点击此选项，在窗口右侧设置Hadoop安装路径。

PS：这个路径是hadoop的路径，eclipse会从这里获取一定的jar包

如图：

c)配置Map/Reduce Locations，打开Windows—Open

Perspective—Other—Map/Reduce Locations—OK

如图：

d)点击新增hadoop

如图：

3、新建WordCount项目

a)上传两个文件到hadoop集群里面

b)分别写Mapper、Reducer、Main，如图所示：

c)运行WordCountMain.java，Run As-----Run Configurations，然后配置如图：

d)结果如图：

4、碰到的错误

a)Windows eclipse配置插件时候，碰到权限不够

（org.apache.hadoop.security.AccessControlException），导致不能连接到hadoop，

解决方案：

1、将windows的账户名和用户组都设置成hadoop启动的账号一样的名字

2、如果是自己的测试机器，可以关闭dfs的权限检测，在conf/hdfs-site.xml 将

dfs.permissions修改成false

b)Exception in thread "main" java.io.IOException: Failed to set permissions of path:

\tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to

0700

这个是Windows下文件权限问题，在Linux下可以正常运行，不存在这样的问题。

解决方法是，修改hadoop-1.0.4/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue，注释掉即可（有些粗暴，在Window下，可以不用检查）

5、建议：

在Ubuntu下面运行eclipse