hadoop运行wordcount实例

启动hadoop常见问题：

1、启动hadoop出现java no such file or directory，解决办法：cygwin下运行命令dos2unix conf/hadoop-env.sh，将hadoop-env.sh
文件中的windows字符转为unix字符即可

2、namenode无法启动，解决办法：关闭hadoop和cygwin，更改core-site.xml中hadoop.tmp.dir的值为/cygdrive/d/tmp/hadoop-${https://www.360docs.net/doc/ed14154663.html,}（tmp路径，可自己定义），重启电脑

3、运行实例出现IO异常，原因是datanode未启动，具体原因是运行hadoop namenode -format时只格式化了namenode导致datanode信息与namenode信息不一致导致不能启动，解决办法：找到问题1中的tmp，删除tmp下所有文件，然后打开cygwin，运行hadoop namenode -format再启动start-all.sh问题解决



运行hadoop自带wordcount实例步骤：

1、打开cygwin，启动hadoop，运行jps命令查看节点启动情况

2、切换到hadoop根目录，运行指令 echo "hello boy hei baby hello word hello hadoop baby girl baby">f1.txt 在hadoop根目录下新建f1.txt，可用-ls 查看是否创建成功

3、运行指令 bin/hadoop fs -mkdir input 在hdfs上新建一文件夹，命名为input

4、运行指令 bin/hadoop fs -put f1.txt input 将f1.txt复制到input文件夹下，运行bin/hadoop fs -ls input查看是否复制成功

5、运行指令 bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output 并输出到output文件夹下

6、运行指令 bin/hadoop fs -cat output/* 查看输出结果，即词频统计结果