大数据环境搭建——已验证通过
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Cygwin的安装
1.先在/install.html上下载安装文件打开后双击setup.exe安装。如下图：
2. 直接点击下一步后如下图：
图中有三个选项，意思一看就懂啊。这里直选择下一步3.直接点击下一步后如下图:
这里是要选择安装路径，设置在哪里都可以。没有特殊要求。
4. 设置好路径后下一步进入下图：
这是设置Cygwin安装文件的目录。先安装的exe只是个引导它需要自己下载安装文件。设置这个目录就是存储这些文件的。
5.设置好后下一步进入下图：
这里是你网络的链接方式，第一个是直接链接，第二个是使用IE代理，第三个使用你指定的HTTP/FTP代理。你要根据你自己的情况选择。通常选第一个如不好使则查看你的联网是否使用了代理用了就选下面两个中的一个。
6.设置好后下一步进入下图：
选择其中一个url用作下载的站点。我选第一就行挺快的。你的不行可以试试别的。也可以在下面的User URL中添加url写完地址一点Add就加入到上面的url列表中了。然后选择你自己加入的url即可。如果自己加入可以尝试一下这个url：/pub/。然后点击下一步进行安装文件的下载，需要点时间。如果点击下一步后出现这个错误Internal Error: gcrypt library error 60 illegal tag。就是上一步网络选择的问题或者选择的url不能下载。自己可以尝试改动一下。
正常下载的话也可能出现一个警告窗口如下图：
点击确定即可。随即会进入下图。
7. 来到此图就要开始进行一些配置了。选择一下要安装的包。如下图：
首先：选择其中的Base Default，通常这里的包都已经选择上了。你要确保sed已选择上，这样你可以在eclipse中使用hadoop了。如下图这样即可：
其次：选择Devel Default，将其中的subversion选中第一个即可。如下图：
最后：选择Net default包，将其中的openssh及openssl选上。如下图：
经过上述包选择后点击下一步即可。
8. 来到这个图中如下：
都是些你不用也不能改的东西，包依赖的一些提示信息。直接点一下步。这是将进入下载及安装你刚刚所选择的包的过程。随后不用再说了。设置是否在桌面显示图标之类额。随后结束了。
9. 打开cygwin进行配置，首先输入：ssh-host-config.回车。会让你输入yes/no输入no。回车。见到Have fun！就说明成功了。见下图：
10. 先到计算机管理—服务处开启CYGWIN sshd服务。开启后在cygwin中输入：ssh localhost 进行登录。回车后，会提示是否继续链接选择yes。随后输入系统用户密码登录。注意：如果你当前使用的用户没有密码就设定一个。否则没有密码你即使不输你回车也不好使。如下图：
11. 这是进行ssh的无密码登录。输入ssh-keygen，提示输入的地方直接按回车即可。执行后如下图：
随后执行下图中的命令。
1、cd ~/.ssh/
2、ls
3、cp id_rsa.pub authorized_keys到此步即可。再ls就会看到authorized_keys 如下图：
完成后输入exit退出。可能需要输入几次。没退出就再输一个exit。呵呵。。
12.然后再次打开cygwin。这回直接输入ssh localhost登录命令就可以直接进入了。不在需要密码了。如下图：
至此cygwin就配置结束了。你可以使用了。
Hadoop的配置
1. 下载hadoop安装包
可以到这个网站上下载/dist//hadoop/core/如果下载不下来自己到网上找找很多的。选一个版本下载。我用的是hadoop-0.20.2。
2.解压到一个目录下。随便选择按个目录。建议直接选择一个根目录。随后进行配置。这里配置的是伪分布式了。需要配置四个文件。都在conf目录下。分别为：hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml。下面逐一说明：
3.hadoop-env.sh
这个文件中主要配置JAVA_HOME路径。需要注意的是：1.jkd是1.6以上版本。2.路径应该是linux风格的。打开后将export前面的#注释符去掉，路径为/cygdrive/你的jdk路径（注：这里修改必须利用TXT打开否则修改后会出问题！！！）。如果路径中有空格需要将路径用‘’括起来（注：若路径中带有空格，如Program Files的情况，加””也无作用，则创建软连接即可解决，如下：里面有空格program files你可以找个目录设置一个软链接，比如说
ln -s "C:\Program Files\Java\jdk1.7.0_07" /usr/local/然后将hadoop-env.sh里的JAVA_HOME改成export JAVA_HOME=/usr/local/jdk1.7.0_07就可以了
）。设置后如下图：
4. core-site.xml
配置属性很多。到也可以简化自己设置几个属性就可以了。这里我们直接复制src/core 下的core-default.xml到conf下并改名为core-site.xml替换原来的。修改下列属性如下：
设置临时的文件hadoop默认中有了但重启后会被删除所以还得需要格式化所以手动设定一个。避免格式化。
5. hdfs-site.xml
这个也同样到src/hdfs下把hdfs-default.xml复制到conf下改名替换。修改下列属性：
DFS名节点存放位置
DFS数据节点存放位置