CentOS下安装hadoop
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu_CentOS
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS 本教程讲述如何配置Hadoop 集群，默认读者已经掌握了Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置。 本教程由厦门大学数据库实验室出品，转载请注明。本教程适合于原生Hadoop 2，包括Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。 为了方便新手入门，我们准备了两篇不同系统的Hadoop 伪分布式配置教程。但其他Hadoop 教程我们将不再区分，可同时适用于Ubuntu 和CentOS/RedHat 系统。例如本教程以Ubuntu 系统为主要演示环境，但对Ubuntu/CentOS 的不同配置之处、CentOS 6.x 与CentOS 7 的操作区别等都会尽量给出注明。 环境 本教程使用Ubuntu 14.04 64位作为系统环境，基于原生Hadoop 2，在Hadoop 2.6.0 (stable)版本下验证通过，可适合任何Hadoop 2.x.y 版本，例如Hadoop 2.7.1，Hadoop 2.4.1 等。 本教程简单的使用两个节点作为集群环境: 一个作为Master 节点，局域网IP 为192.168.1.121；另一个作为Slave 节点，局域网IP 为192.168.1.122。 准备工作 Hadoop 集群的安装配置大致为如下流程: 1.选定一台机器作为Master 2.在Master 节点上配置hadoop 用户、安装SSH server、安装Java 环境 3.在Master 节点上安装Hadoop，并完成配置 4.在其他Slave 节点上配置hadoop 用户、安装SSH server、安装Java 环境 5.将Master 节点上的/usr/local/hadoop 目录复制到其他Slave 节点上 6.在Master 节点上开启Hadoop 配置hadoop 用户、安装SSH server、安装Java 环境、安装Hadoop 等过程已经在Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置中有详细介绍，请前往查看，不再重复叙述。 继续下一步配置前，请先完成上述流程的前 4 个步骤。 网络配置 假设集群所用的节点都位于同一个局域网。 如果使用的是虚拟机安装的系统，那么需要更改网络连接方式为桥接（Bridge）模式，才能实现多个节点互连，例如在VirturalBox 中的设置如下图。此外，如果节点的系统是在虚拟机中直接复制的，要确保各个节点的Mac 地址不同（可以点右边的按钮随机生成MAC 地址，否则IP 会冲突）：
CentOs环境安装详细教程
CentOS 6.5使用yum快速搭建LAMP环境 前言：也许很多新同学和我一样在搭建LAMP环境时遇到各种问题，网上资料错 误乱杂以致于烦恼不断，在经过多次失败后重新整理利用yum快速搭建LAMP环境一文以供初学者参考，文中如有错漏请各位同学雅正。。。谢谢！～ 本次安装在内网主机内完成，安装完成CentOS 6.5后 ##配置IP地址 vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0" HW ADDR="60:EB:69:E3:85:E4" NM_CONTROLLED="yes" ONBOOT="yes" TYPE="Ethernet" UUID="a2a68d35-fea7-41e8-903a-680be29686e4" BOOTPROTO=static IPADDR=192.168.100.254 NETMASK=255.255.255.0 GA TEWAY=192.168.100.1 DNS1=202.96.128.86 配置完IP后可以在网内Windows主机上安装Xshell 5进行远程配置，直接复制本文中的命令即可！比较省事。。。 1、安装Apache本次安装采用yum 源进行安装 [root@localhost ~]# yum -y install httpd # 开机自启动 [root@localhost ~]# chkconfig httpd on # 启动httpd 服务 [root@localhost ~]# service httpd start ## 安装apache 一些扩展 root@localhost ~]# yum -y install httpd-manual mod_ssl mod_perl mod_auth_mysql ###关闭iptables防火墙 （只要使用，关闭和永久关闭这两条就可以了） 1 关闭防火墙----- [root@localhost ~]#service iptables stop 2 启动防火墙----- [root@localhost ~]#service iptables start
hadoop2.7.2 伪分布式安装
hadoop：建立一个单节点集群伪分布式操作 安装路径为：/opt/hadoop-2.7.2.tar.gz 解压hadoop: tar -zxvf hadoop-2.7.2.tar.gz 配置文件 1. etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/jdk1.8 2. etc/hadoop/core-site.xml
win7下硬盘安装CentOS_6.0
WIN7下硬盘安装CentOS 6.0 引言： 电脑系统是Windows 7，硬盘安装centos6.0，以下简称6.0 主要问题在于W7和XP不太一样，我不知道怎么从C盘下通过修改启动信息，从grub 引导6.0的安装程序。而6.0的镜像文件又大于4G，不能在FAT格式的磁盘中存放，RH 系列的系统又不识别ntfs格式的硬盘，所以将6.0的镜像文件存放在ntfs格式的硬盘中，通过引导软件引导的时候，是找不到镜像文件的。所以我参考了XP下安装6.0以及W7下安装5.5的方法，写了这个文档，比较粗略，希望对大家有用。 必备工具： 一、电脑系统： Windows 7 ，在硬盘上留出5G以上的空间（最好还要留出安装6.0的磁盘空间，个人推荐还是把6.0装在独立的空间比较合适） 这5G的空间是为了存放6.0镜像文件的，其实只要能放下ISO文件就可以。 二、所需软件： 1、CentOS-6.0-i386-bin-DVD（CentOS 6.0 32位系统镜像） 下载地址： https://www.360docs.net/doc/a817216590.html,/centos/6.0/isos/i386/CentOS-6.0-i386-bin-DVD.iso 2、磁盘分区工具，一般的系统盘都自带了分区工具 3、EasyBCD，用于引导系统的工具，很方便，随便上网搜一个 4、Ext2Fsd-0.51（Windows 系统中读写Linux Ext2/Ext3 分区，请自行下载，版本自己选择） 三、安装步骤 1、用分区工具在电脑上划分出5G的独立空间，并格式化成EXT格式： 2、安装Ext2Fsd-0.51软件，使XP系统能够访问ext2磁盘。打开Ext2Fsd-0.51，NEXT 安装（下面的图只是做参考，分区情况和盘符以自己的标准）
hadoop集群部署之双虚拟机版
1、采用一台机器开两个虚拟机的方式构成两台电脑的环境，用root登录。 分别查看其IP地址：输入# ifconfig，可得主机IP：192.168.1.99；分机为：192.168.1.100。 2、在两台机器上的/etc/hosts均添加相应的主机名和IP地址： 这里主机名命名为shenghao，分机名命名为slave： 保存后重启网络： 3、两台机器上均创立hadoop用户（注意是用root登陆） # useradd hadoop # passwd hadoop 输入111111做为密码 登录hadoop用户： 注意，登录用户名为hadoop，而不是自己命名的shenghao。 4、ssh的配置 进入centos的“系统→管理→服务器设置→服务，查看sshd服务是否运行。 在所有的机器上生成密码对： # ssh-keygen -t rsa 这时hadoop目录下生成一个.ssh的文件夹， 可以通过# ls .ssh/来查看里面产生的私钥和公钥：id_rsa和id_rsa.pub。 更改.ssh的读写权限： # chmod 755 .ssh 在namenode上（即主机上）
进入.ssh，将id_rsa.pub直接复制为authorized_keys（namenode的公钥）： # cp id_rsa.pub authorized_keys 更改authorized_keys的读写权限： # chmod 644 authorized_keys 【这个不必须，但保险起见，推荐使用】 然后上传到datanode上（即分机上）： # scp authorized_keys hadoop@slave:/home/hadoop/.ssh # cd .. 退出.ssh文件夹 这样shenghao就可以免密码登录slave了： 然后输入exit就可以退出去。 然后在datanode上（即分机上）： 将datanode上之前产生的公钥id_rsa.pub复制到namenode上的.ssh目录中，并重命名为slave.id_rsa.pub，这是为了区分从各个datanode上传过来的公钥，这里就一个datanode，简单标记下就可。 # scp -r id_rsa.pub hadoop@shenghao:/home/hadoop/.ssh/slave.id_rsa.pub 复制完毕，此时，由于namenode中已经存在authorized_keys文件，所以这里是追加，不是复制。在namenode上执行以下命令，将每个datanode的公钥信息追加: # cat slave.id_rsa.pub >> authorized_keys 这样，namenode和datanode之间便可以相互ssh上并不需要密码： 然后输入exit就可以退出去。 5、hadoop的集群部署 配置hadoop前一定要配置JDK，请参考相关资料，这里就不赘述了。 将下载好的hadoop-0.19.0.tar.gz文件上传到namenode的/home/hadoop/hadoopinstall 解压文件： # tar zxvf hadoop-0.19.0.tar.gz 在/erc/profile的最后添加hadoop的路径： # set hadoop path export HADOOP_HOME=/home/hadoop/hadoopinstall/hadoop-0.20.2 export PATH=$HADOOP_HOME/bin:$PATH 之后配置hadoop/conf中的4个文件：
服务器安装centos 7系统教程
给服务器安装系统，因为没做过，一切都是从网上找的方法，遇到问题也不知道是什么问题，半天也搜不出解决方法，好在最后总算安装好了，这里就整理一下安装过程，并总结一下自己遇到的问题。 我们安装的是centos 7，其他Linux系统版本感觉也可以参照安装。 准备：机器、u盘（比要安装的系统大）、系统镜像、软碟通。 第一步，制作启动u盘 1、打开软碟通，点击“文件”->“打开”找到自己下好的镜像，点击加载 2、插入u盘，点击“启动”->“写入硬盘映像”
这个位置显示你u盘的名称 3、依次点击“写入”->”确定“，等写入完成，启动盘就制作好了。
第二步、安装 1、服务器一般是不配备显示器、鼠标、键盘这些东西的，需自备 2、插好u盘，启动服务器，进入BIOS（我安装的曙光机器是按delete键进入，具体 按哪个键各位对应机器品牌去网上查）切到“boot”菜单，点击进入第一选项“boot device priority“，将usb项置顶。然后保存退出。
3、之后机器自动选择usb启动，出现如下选择，点击“Install CentOS 7“选项，进入安装界面 选择语言 继续后，进入下面界面
这里我们设置三个部分“软件选择“、”安装位置”和”网络和主机名“ 首先点击“软件选择“ 这是一个在虚拟机上安装的图，如果你的机器上除了u盘外，还有硬盘，那再“本地标准磁盘“下就会有硬盘信息，我们选择安装的硬盘。”分区“选项我选的是”自动配置分区“，你们也可以按照自己的需要，选择”我要配置分区“然后自己选择分多少个区，每个区的大小。点击完成。 “软件选择“我选的是”最小安装，你们可以根据需要选择其他部分
Hadoop集群搭建(二)HDFS_2017
Hadoop集群搭建(二)HDFS HDFS只是Hadoop最基本的一个服务，很多其他服务，都是基于HDFS 展开的。所以部署一个HDFS集群，是很核心的一个动作，也是大数据平台的开始。 安装Hadoop集群，首先需要有Zookeeper才可以完成安装。如果没有Zookeeper，请先部署一套Zookeeper。另外，JDK以及物理主机的一些设置等。都请参考下文： Hadoop集群搭建(一) Zookeeper 下面开始HDFS的安装 HDFS主机分配 1.19 2.168.67.101 c6701 --Namenode+datanode 2.192.168.67.102 c6702 --datanode 3.192.168.67.103 c6703 --datanode 1. 安装HDFS，解压hadoop- 2.6.0-EDH-0u2.tar.gz 我同时下载2.6和2.7版本的软件，先安装2.6，然后在执行2.6到2.7的升级步骤 https://www.360docs.net/doc/a817216590.html,eradd hdfs 2.echo "hdfs:hdfs"| chpasswd 3.su - hdfs
4.cd /tmp/software 5.tar -zxvf hadoop-2. 6.0-EDH-0u2.tar.gz -C /home/hdfs/ 6.mkdir -p /data/hadoop/temp 7.mkdir -p /data/hadoop/journal 8.mkdir -p /data/hadoop/hdfs/name 9.mkdir -p /data/hadoop/hdfs/data 10.chown -R hdfs:hdfs /data/hadoop 11.chown -R hdfs:hdfs /data/hadoop/temp 12.chown -R hdfs:hdfs /data/hadoop/journal 13.chown -R hdfs:hdfs /data/hadoop/hdfs/name 14.chown -R hdfs:hdfs /data/hadoop/hdfs/data 15.$ pwd 16./home/hdfs/hadoop-2.6.0-EDH-0u2/etc/hadoop 2. 修改core-site.xml对应的参数 1.$ cat core-site.xml 2.<configuration> 3.<!--指定hdfs的nameservice为ns --> 4.<property> 5.<name>fs.defaultFS</name> 6.<value>hdfs://ns</value> 7.</property> 8.<!--指定hadoop数据临时存放目录-->
CentosLinux安装指南
CentOS安装指南 我们在VMware创建好虚拟机后，就可以开始进行CentOS的安装了。 软件包的版本： VMware Workstation 10.0.2 CentOS 6.5 64位 硬盘分区 在计算机上安装Linux系统，对硬盘进行分区是一个非常重要的步骤，下面介绍几个分区方案。 方案1（桌面）20GB /boot：用来存放与Linux系统启动有关的程序，比如启动引导装载程序等，建议大小为100MB。 /：Linux系统的根目录，所有的目录都挂在这个目录下面，建议大小为5GB以上。 /home：存放普通用户的数据，是普通用户的宿主目录，建议大小为剩下的空间。swap：实现虚拟内存，建议大小是物理内存的1~2倍。 方案2（服务器）20GB /boot：用来存放与Linux系统启动有关的程序，比如启动引导装载程序等，建议大小为100MB。 /usr：用来存放Linux系统中的应用程序，其相关数据较多，建议大于3GB以上。 /var：用来存放Linux系统中经常变化的数据以及日志文件，建议大于1GB以上。 /home：存放普通用户的数据，是普通用户的宿主目录，建议大小为剩下的空间。 /：Linux系统的根目录，所有的目录都挂在这个目录下面，建议大小为5GB以上。 /tmp：将临时盘在独立的分区，可避免在文件系统被塞满时影响到系统的稳定性。建议大小为500MB以上。 swap：实现虚拟内存，建议大小是物理内存的1~2倍。
光盘安装 安装引导 如果是硬件机器从光驱安装系统，首先要设置计算机的BIOS启动顺序为光驱启动，保存设置后将安装光盘放入光驱，重新启动计算机。 如果是虚拟机安装就不需要设置了。创建好的虚拟机上直接安装就行。 第一步：在已创建好的虚拟机上选择CD/DVD,指定CentOS镜像的位置。 第二步：指定镜像文件路径，点击确定。
Hadoop集群部署方案
Hadoop集群部署方案
目录 1.网络拓扑 (1) 2.软件安装 (1) 2.1.修改主机名 (1) 2.2.修改host文件 (1) 2.3.创建Hadoop 用户 (2) 2.4.禁用防火墙 (2) 2.5.设置ssh登录免密码 (2) 2.6.安装hadoop (4) 3.集群配置 (5) 3.1.修改脚本 (5) 3.1.1................................................ hadoop-env.sh 5 3.1.2................................................... y arn-env.sh 5 3.2.配置文件 (5) 3.2.1................................................ core-site.xml 5 3.2.2................................................ hdfs-site.xml 7 3.2.3.............................................. mapred-site.xml 10 3.2. 4................................................ yarn-site.xml 11 3.2.5.配置datanode 14 3.3.创建目录 (14)
4.启动zk集群 (14) 5.启动hadoop (14) 5.1.启动所有节点journalnode (14) 5.2.格式化h1 namenode (15) 5.3.在h1上格式化ZK (15) 5.4.启动h1的namenode，zkfc (16) 5.5.启动h2上namenode (16) 5.6.同步h1上的格式化数据到h2 (16) 5.7.启动 HDFS (17) 5.8.启动 YARN (18) 5.9.启动h2 ResourceManager (18) 5.10........................................ h4上启动 JobHistoryServer 19 5.11.......................................... 查看ResourceManager状态19 6.浏览器访问 (19) https://www.360docs.net/doc/a817216590.html,node管理界面 (19) 6.1.1............................... http://192.168.121.167:50070 19 6.1.2............................... http://192.168.121.168:50070 20 6.2.ResourceManager管理界面 (20) 6.2.1............................... http://192.168.121.167:8088/ 21 6.2.2............................... http://192.168.121.168:8088/ 21 6.3.JournalNode HTTP 服务 (21) 6.3.1............................... http://192.168.121.167:8480/ 21 6.4.Datanode HTTP服务 (22)
如何基于Docker快速搭建多节点Hadoop集群
如何基于Docker快速搭建多节点Hadoop集群 Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接近最小化的Hadoop镜像，并且支持快速搭建任意节点数的Hadoop集群。 Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接近最小化的Hadoop镜像，并且支持快速搭建任意节点数的Hadoop集群。 一. 项目简介 GitHub: kiwanlau/hadoop-cluster-docker 直接用机器搭建Hadoop集群是一个相当痛苦的过程，尤其对初学者来说。他们还没开始跑wordcount，可能就被这个问题折腾的体无完肤了。而且也不是每个人都有好几台机器对吧。你可以尝试用多个虚拟机搭建，前提是你有个性能杠杠的机器。 我的目标是将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。其实这个想法已经有了不少实现，但是都不是很理想，他们或者镜像太大，或者使用太慢，或者使用了第三方工具使得使用起来过于复杂。下表为一些已知的Hadoop on Docker项目以及其存在的问题。 我的项目参考了alvinhenrick/hadoop-mutinode项目，不过我做了大量的优化和重构。alvinhenrick/hadoop-mutinode项目的GitHub主页以及作者所写的博客地址如下： GitHub：Hadoop (YARN) Multinode Cluster with Docker
CentOS 6.3安装(超级详细图解教程)
CentOS 6.3安装(超级详细图解教程) 附：CentOS 6.3下载地址 32位： https://www.360docs.net/doc/a817216590.html,/centos/6.3/isos/i386/CentOS-6.3-i386-bin-DVD1to2.torren t 64位： https://www.360docs.net/doc/a817216590.html,/centos/6.3/isos/x86_64/CentOS-6.3-x86_64-bin-DVD1to2.to rrent 说明： 1、CentOS 6.3系统镜像有两个，安装系统只用到第一个镜像即 CentOS-6.3-i386-bin-DVD1.iso（32位）或者CentOS-6.3-x86_64-bin-DVD1.iso（64位）,第二个镜像是系统自带软件安装包 2、安装CentOS 6.3系统的计算机内存必须等于或者大于628M（最小内存628M），才能启用图形安装模式 3、CentOS 6.3文本安装模式不支持自定义分区，建议使用图形安装模式安装 4、CentOS 6.3的系统安装方式分为：图形安装模式和文本安装模式 5、CentOS 6.3的系统运行方式分为：带图形界面、可以用鼠标操作的图形化方式和不带图形界面、直接用命令行操作的文本方式（具体的系统运行方式，可以在系统安装的过程中自定义选择） 安装图解 用系统安装盘成功引导之后，出现如下界面：
系统运维 https://www.360docs.net/doc/a817216590.html, 温馨提醒：qihang01原创内容?版权所有,转载请注明出处及原文链接 界面说明： Install or upgrade an existing system安装或升级现有的系统 install system with basic video driver安装过程中采用 基本的显卡驱动 Rescue installed system进入系统修复模式 Boot from local drive退出安装从硬盘启动 Memory test内存检测 这里选择第一项，安装或升级现有的系统，回车。 出现是否对CD媒体进行测试的提问，这里选择“Skip”跳过测试。
Hadoop集群安装详细步骤
Hadoop集群安装详细步骤|Hadoop安装配置 文章分类:综合技术 Hadoop集群安装 首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。 Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。 准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync和Jdk1.6（因为Hadoop需要使用到Jdk中的编译工具，所以一般不直接使用Jre）。可以使用yum install rsync来安装rsync。一般来说ssh是默认安装到系统中的。Jdk1.6的安装方法这里就不多介绍了。 确保以上准备工作完了之后我们就开始安装Hadoop软件，假设我们用三台机器做Hadoop集群，分别是：192.168.1.111、192.168.1.112和192.168.1.113（下文简称111，112和113），且都使用root用户。 下面是在linux平台下安装Hadoop的过程： 在所有服务器的同一路径下都进行这几步，就完成了集群Hadoop软件的安装，是不是很简单？没错安装是很简单的，下面就是比较困难的工作了。 集群配置
根据Hadoop文档的描述“The Hadoop daemons are N ameNode/DataNode and JobTracker/TaskTracker.”可以看出Hadoop核心守护程序就是由 NameNode/DataNode 和JobTracker/TaskTracker这几个角色构成。 Hadoop的DFS需要确立NameNode与DataNode角色，一般NameNode会部署到一台单独的服务器上而不与DataNode共同同一机器。另外Map/Reduce服务也需要确立JobTracker和TaskTracker的角色，一般JobTracker与NameNode共用一台机器作为master，而TaskTracker与DataNode同属于slave。至于NameNode/DataNode和JobTracker/TaskTracker的概念这里就不多讲了，需要了解的可以参看相关文档。 在这里我们使用111作为NameNode与JobTracker，其它两台机器作为DataNode和TaskTracker，具体的配置如下： 环境的配置 在$HADOOP_HOME/conf/hadoop-env.sh中定义了Hadoop启动时需要的环境变量设置，其中我们至少需要配置JAVA_HOME（Jdk的路径）变量；另外我们一般还需要更改HADOOP_LOG_DIR（Hadoop的日志路径）这个变量，默认的设置是“export HADOOP_LOG_DIR=${HADOOP_HOME}/logs”，一般需要将其配置到一个磁盘空间比较大的目录下。 Hadoop核心程序配置 Hadoop 包括一组默认配置文件（$HADOOP_HOME/src目录下的 core/core-default.xml, hdfs/hdfs-default.xml 和 mapred/mapred-default.xml），大家可以先好好看看并理解默认配置文件中的那些属性。虽然默认配置文件能让Hadoop核心程序顺利启动，但对于开发人员来说一般需要自己的来设置一些常规配置以满足开发和业务的需求，所以我们需要对默认配置文件的值进行覆盖，具体方法如下。 $HADOOP_HOME/conf/core-site.xml是Hadoop的核心配置文件，对应并覆盖core-default.xml中的配置项。我们一般在这个文件中增加如下配置： Core-site.xml代码 1.
CentOS6.6安装hadoop2.7.3教程
CentOS6.6安装Hadoop2.7.3教程大胡子工作室
目录 1 前言 (1) 2 安装准备 (1) 2.1 所需软件 (1) 2.1.1 CentOS6.6minimal (1) 2.1.2 Hadoop 2.7.3 (1) 2.2 安装规划 (1) 3 安装步骤 (2) 3.1 安装操作系统 (2) 3.2 操作系统基本配置 (13) 3.2.1 配置IP地址 (13) 3.2.2 配置hostname及网关 (14) 3.2.3 关闭selinux (15) 3.2.4 设置limit最大连接数 (15) 3.2.5 配置DNS (16) 3.2.6 配置本地hosts (17) 3.2.7 添加hadoop用户 (17) 3.2.8 关闭防火墙 (18) 3.3 安装jdk (19) 3.4 配置ssh免密码登录 (19) 3.4.1 切换hadoop用户 (20) 3.4.2 生成免登陆ssh证书 (20) 3.4.3 追加授权 (20) 3.5 配置master计算机的hadoop (22) 3.5.1 解压缩hadoop文件 (23) 3.5.2 创建存储hadoop数据文件的目录 (23) 3.5.3 设置hadoop的环境变量 (23) 3.5.4 配置core-site.xml文件 (26) 3.5.5 配置hdfs-site.xml文件 (28) 3.5.6 配置mapred-site.xml文件 (30) 3.5.7 配置yarn-site.xml文件 (32) 3.5.8 配置slaves文件 (34) 3.5.9 格式化HDFS文件系统 (34) 3.6 配置slave计算机的hadoop (34) 3.6.1 创建hadoop文件夹 (35) 3.6.2 将文件分发给slave计算机 (35) 3.6.3 设置hadoop的环境变量 (35) 4 hadoop的控制 (36) 4.1 hadoop的启动 (36) 4.2 hadoop的关闭 (36)
Centos系统安装过程具体选择详细图解
一．准备安装CentOS 6 硬盘分区方案 在计算机上安装Linux系统，对硬盘进行分区是一个非常重要的步骤，下面介绍几个分区方案。 至少要有/boot和swap，可以分别创建（/、swap、/home、/usr等）。 也可以创建一个/boot和physical volume（LVM）物理卷，/boot必须单独独立出来，不能放到LVM中。其他的都可以在LVM中添加（/、swap、/home、/usr等）。 （1）方案1（桌面） /boot：用来存放与Linux系统启动有关的程序，比如启动引导装载程序等，建议大小为100MB。/ ：Linux系统的根目录，所有的目录都挂在这个目录下面，建议大小为5GB以上。 /home：存放普通用户的数据，是普通用户的宿主目录，建议大小为剩下的空间。 swap：实现虚拟内存，建议大小是物理内存的1~2倍。 （2）方案2（服务器） /boot：用来存放与Linux系统启动有关的程序，比如启动引导装载程序等，建议大小为100MB。/usr ：用来存放Linux系统中的应用程序，其相关数据较多，建议大于3GB以上。 /var ：用来存放Linux系统中经常变化的数据以及日志文件，建议大于1GB以上。 /home：存放普通用户的数据，是普通用户的宿主目录，建议大小为剩下的空间。 / ：Linux系统的根目录，所有的目录都挂在这个目录下面，建议大小为5GB以上。 /tmp：将临时盘在独立的分区，可避免在文件系统被塞满时影响到系统的稳定性。建议大小为500MB以上。 swap：实现虚拟内存，建议大小是物理内存的1~2倍。 二．光盘安装CentOS 6 1．安装引导 首先要设置计算机的BIOS启动顺序为光驱启动，保存设置后将安装光盘放入光驱，重新启动计算机。 计算机启动以后会出现如下图所示的界面： Install or upgrade an existing system（安装或升级现有系统）：这个选项是默认的。选择此选项，安装到您的计算机使用CentOS的图形安装程序的系统。 Install system with basic video driver（安装系统，基本的视频驱动程序）：此选项允许您安装CentOS的模式，即使在图形安装程序无法加载视频卡的正确驱动程序为您的。如果你的屏幕上出现扭曲或一片空白时使用的安装或升级现有系统的选项，重新启动计算机，并尝试此选项。 Rescue installed system（救援安装的系统）：选择这个选项来修复您的安装CentOS 系统，防止正常启动你一个问题。虽然CentOS是一个非常稳定的计算平台，它是偶然的问题仍有可能发生，防止启动。救援环境包含实用程序，允许您解决这些问题，品种繁多。
Centos7安装手册
Centos7 安装部署手册 柏雍
目录 第1章CENTOS7安装步骤 (3) 1.1第一步：点击创建新的虚拟机（红框为创建新的虚拟机按钮）。3 1.2第二步：选择自定义（红框）按钮，点击下一步（蓝框）。 (3) 1.3第三步：点击下一步（蓝框） (4) 1.4第四步：选择稍后安装操作系统（红框），点击下一步（蓝框）。 5 1.5第五步：选择操作系统为Linux（红框），选择版本centos64位（紫框），下一步（蓝框）。 (6) 1.6第六步：填写虚拟机名称（红框），选择虚拟机安装位置（紫框），下一步（蓝框）。 (7) 1.7第七步：根据情况选择处理器配置（红框），下一步（蓝框）。 .. 8 1.8第八步：对内存进行配置，根据自己实际需求进行（红框），下一步（蓝框）。 (9) 1.9第九步：网络选择桥接模式（红框），下一步（蓝框）。 (10) 1.10第十步：默认点击下一步（蓝框）。 (11) 1.11第十一步：默认点击下一步（蓝框）。 (12) 1.12第十二步：选择创建新虚拟磁盘（红框），下一步（蓝框）。 (13) 1.13第十三步：选择磁盘空间（红框），下一步（蓝框）。 (14) 1.14第十四步：默认点击下一步（蓝框）。 (15) 1.15第十五步：点击自定义硬件（红框）。 (16) 1.16第十六步：选择CD/DVD（红框），在选择下载好的IOS镜像文 1
件（紫框）。选择关闭（蓝框）。 (17) 1.17第十七步：选择完成（蓝框）。 (18) 1.18第十八步：建立完毕，点击开启此虚拟机。 (19) 1.19第十九步：选择Install Centos Linux7（红框）点击回车进行安装。20 1.20第二十步：完成弹出Centos安装界面，选择中文（红框），点击继续（蓝框）。 (21) 1.21第二十一步：点击软件选择（红框）。进入后选择基础设置服务器，选择开发工具（红框），点击完成按钮。 (22) 1.22第二十二步：选择系统的安装位置（红框），进入后如无其他选择则直接点击完成按钮。 (23) 1.23第二十三步：点击开始安装按钮（红框）。 (24) 1.24第二十四步：设置root密码（红框），进入后设置root密码（紫框），设置后点击完成按钮（蓝框）。 (25) 1.25第二十五步：点击重启按钮（蓝框），因为显示器问题本人这个现实不是特别清晰。 (26) 2
CentOS安装教程
CentOS操作系统安装教程 CentOS操作系统是商业版Red Hat Enterprise Linux（RHEL）的免费版，是架构LAMP的理想操作系统，稳定性非常好，和Ubuntu不同的是，CentOS主要用于服务器而不是桌面环境，不少大型的商业网站都使用CentOS操作系统，我在《LAMP网站架构方案分析》中曾经讲述了一系列架构方案，这里以CentOS为例具体讲一下LAMP环境的安装和搭建。 首先要下载CentOS操作系统的ISO，下载地址点这里，目前最新版为5.3，下载文件有两种形式，一种是光盘CD版，要六张盘，要下载的文件为 CentOS-5.3-i386-bin-1of6.iso、 CentOS-5.3-i386-bin-2of6.iso、 CentOS-5.3-i386-bin-3of6.iso、CentOS-5.3- i386-bin-4of6.iso、 CentOS-5.3-i386-bin-5of6.iso、CentOS-5.3-i386-bin- 6of6.iso，一种是DVD 版，要一张盘，下载文件为CentOS-5.3-i386-bin-DVD.iso，3.7G容量。 下载完成后，使用Nero等光盘刻录软件将ISO镜像文件转换、刻录成安装CD或DVD光盘。 然后将服务器硬盘格式化，插入CD或DVD的第一张盘启动，即可进入CentOS 的安装程序。 光盘启动，出现“boot：”提示符，直接按回车进入图形安装界面。出现是否对CD媒体进行测试的提问，这里选择“Skip”跳过测试。
语言选择界面中，如需要使用中文系统，则选择简体中文进行安装。 键盘选择为“美国英语式”。
Hadoop集群架构搭建分析
Hadoop集群架构搭建分析 一、概述 1、集群在6台机器上搭建完成，IP与hostname设置如下： 10.8.3.240 namenode 10.8.3.246 datanode1 10.8.3.239 datanode2 10.8.3.249 datanode3 10.8.3.238 datanode4 10.8.3.251 datanode5 2、软件安装描述： Hadoop Zookeeper HBase MongoDB namenode √√√datanode1 √√ datanode2 √√ datanode3 √√ datanode4 √√ datanode5 √ 3、进程运行描述 namenode datanode1datanode2datanode3datanode4datanode5 NameNode√ DataNode√√√√√JobTracker√ TaskTracker√√√√√HMaster√ HRegionServer√ √ Secondary NameNode HQuorumPeer √√√ 注： (1)NameNode、DataNode、SecondaryNameNode是hdfs进程 (2)JobTracker、TaskTracker是mapreducer进程 (3)HMaster、HRegionServer是HBase进程 (4)HQuorumPeer是Zookeeper进程
1、设置IP 修改/etc/sysconfig/network-scripts/ifcfg-eth0文件：DEVICE=eth0 --网卡名称 BOOTPROTO=static --获取静态IP HW ADDR=00:E0:4C:F8:3B:CE --机器MAC地址 IPADDR=10.8.3.240 --IP NETMASK=255.255.255.0 --子网掩码 NETWORK=10.8.3.254 --默认网关 ONBOOT=yes 2、设置hostname 在所有机器的/etc/hosts 文件下添加： 10.8.3.240 namenode 10.8.3.246 datanode1 10.8.3.239 datanode2 10.8.3.249 datanode3 10.8.3.238 datanode4 10.8.3.251 datanode5 注：为了使机器辨别到hostname，必须重启机器。
Uefi模式下安装centos7
UEFI Centos7 UEFI Centos7 7 google windows linux grub grub2 BIOS UEFI MBR GPT centos6 centos7 1/ centos6.4 2/ centos7.2 BIOS 2T 4T UEFI liveCD UEFI centos7 4-B 3-B 4-B Fedora Ubuntu
1 T110 600G SAS BIOS centos 2 F11 UEFI ubuntu14 3 sda5 centos
4 Execute a shell in /dev/sda5 5 mount /dev/sda3 /boot/e? ( ESP ) 6 vi /etc/resolv.conf nameserver 114.114.114.114 7 yum install e?bootgmr shim grub2-e? 8 /boot/e? EFI/centos/XXXXX grub.cfg grub2-mkcon?g -o /boot/e?/EFI/centos/grub.cfg 9 10 UEFI centos UEFI 11
12 grub2 more /boot/e?/EFI/centos/grub.cfg ### BEGIN /etc/grub.d/10_linux ### menuentry 'CentOS Linux (3.10.0-514.el7.x86_64) 7 (Core)' --class centos --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-3.10.0-514.el7.x86_64-advan ced-24d2ee03-3580-44ea-8d57-95a4c1ea2dc3' { load_video set gfxpayload=keep insmod gzio insmod part_msdos insmod xfs set root='hd0,msdos1' if [ x$feature_platform_search_hint = xy ]; then search --no-?oppy --fs-uuid --set=root --hint-bios=hd0,msdos1 --hint-e?=hd0,msdos1 --hint-baremetal=ahci0,msdos1 --hint='hd0,msdos1' f0a3ab93-ceea-4f84-ba19-7545ced00ccc else search --no-?oppy --fs-uuid --set=root f0a3ab93-ceea-4f84- ba19-7545ced00ccc ? linuxe? /vmlinuz-3.10.0-514.el7.x86_64 root=UUID=24d2ee03-3580-44ea-8d57-95a4c1ea2dc3 ro crashkernel=auto rhgb quiet initrde? /initramfs-3.10.0-514.el7.x86_64.img } menuentry 'CentOS Linux (0-rescue-5a39f276e8194f6bb7bd2f76714e373b) 7 (Core)' --class centos --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-0-rescu e-5a39f276e8194f6bb7bd2f76714e373b- advanced-24d2ee03-3580-44ea-8d57-95a4c1ea2dc3' { load_video insmod gzio insmod part_msdos insmod xfs set root='hd0,msdos1' if [ x$feature_platform_search_hint = xy ]; then search --no-?oppy --fs-uuid --set=root --hint-bios=hd0,msdos1 --hint-e?=hd0,msdos1 --hint-baremetal=ahci0,msdos1 --hint='hd0,msdos1' f0a3ab93-ceea-4f84-ba19-7545ced00ccc else search --no-?oppy --fs-uuid --set=root f0a3ab93-ceea-4f84- ba19-7545ced00ccc