07 hadoop完全分布式安装第七步：zookeeper分布式配置
实验七 zookeeper分布式的配置
tar -zxvf zookeeper-3.4.5.tar.gz
mv zookeeper-3.4.5 zookeeper
cd zookeeper
mkdir data
mkdir logs
三、集群模式
集群模式就是在不同主机上安装zookeeper然后组成集群的模式；下边以在192.168.1.1，192.168.1.2，192.168.1.3三台主机为例。
zookeeper 配置
1.Zookeeper服务集群规模不小于三个节点，要求各服务之间系统时间要保持一致。
2.在master的/home/chenlijun目录下，解压缩zookeeper（执行命令tar –zvxf zooke eper.tar.gz）
3.设置环境变量
打开/etc/profile文件！内容如下：
[html]view plain copy
1.#set java & hadoop
2.
3.export JAVA_HOME=/home/chenlijun/java/
4.
5.export HADOOP_HOME=/home/chenlijun/hadoop
6.
7.export ZOOKEEPER_HOME=/home/chenlijun/zookeeper
8.
9.export PATH=.:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH
注：修改完后profile记得执行source /etc/profile
4.在解压后的zookeeper的目录下进入conf目录修改配置文件
更名操作：mv zoo_sample.cfg zoo.cfg
5.编辑zoo.cfg (vi zoo.cfg)
修改dataDir=/home/chenlijun/zookeeper/data/
新增server.0=master:2888:3888
server.1=slave1:2888:3888
server.2=slave2:2888:3888
文件如下：
ROSEHA安装及配置手册.
安装配置指南 (第二版) ROSE
目录 第一章绪论 windows NT 版 ROSEHA 软件 特点 灵活的配置 ROSEHA 硬件部分 ROSEHA软件示意图 第二章准备工作 资源对象的属性 设置cluster的过程 卷标 安装应用软件 第三章安装和卸载 开始安装之前 安装 ROSEHA 获得 ROSEHA 认证号 卸载 ROSEHA 第四章 ROSEHA 管理工具 预览 私有网络管理 GUI（图形化界面） 资源对象管理 GUI 菜单条 工具条 cluster 可视面板 消息面板 状态条 第三方管理工具 控制面板 文件管理 磁盘管理 事件查看 磁盘阵列管理 私有网络管理
资源对象管理 Cluster 操作 Cluster 操作参数选择 开始 cluster 操作 停止 cluster 操作 第五章私有网络管理 私有网络下拉菜单 TCP/IP socket 私有网络 RS-232 串口私有网络 公用驱动器私有网络 工具条按钮 删除私有网络 查看私有网络 私有网络和服务器状态 第六章资源对象管理 创建资源对象 服务器属性表 配置卷对象属性表 配置IP 地址对象属性表 配置共享文件对象属性表 配置LAN 管理对象属性表 配置Microsoft SQL Server 对象属性表 配置Sybase SQL server 对象属性表 配置NT 服务对象属性表 配置用户自定义对象属性表 查看资源对象 删除资源对象 绑定到 cluster 撤消绑定到 cluster 资源切换 资源接管 服务器切换 服务器接管 资源对象分类 资源对象状态
附录1 MSSQL SERVER 实例 附录2 . WWW资源层次实例 附录3 FAQ 附录4 NT Cluster 软件维护信息
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu_CentOS
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS 本教程讲述如何配置Hadoop 集群，默认读者已经掌握了Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置。 本教程由厦门大学数据库实验室出品，转载请注明。本教程适合于原生Hadoop 2，包括Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。 为了方便新手入门，我们准备了两篇不同系统的Hadoop 伪分布式配置教程。但其他Hadoop 教程我们将不再区分，可同时适用于Ubuntu 和CentOS/RedHat 系统。例如本教程以Ubuntu 系统为主要演示环境，但对Ubuntu/CentOS 的不同配置之处、CentOS 6.x 与CentOS 7 的操作区别等都会尽量给出注明。 环境 本教程使用Ubuntu 14.04 64位作为系统环境，基于原生Hadoop 2，在Hadoop 2.6.0 (stable)版本下验证通过，可适合任何Hadoop 2.x.y 版本，例如Hadoop 2.7.1，Hadoop 2.4.1 等。 本教程简单的使用两个节点作为集群环境: 一个作为Master 节点，局域网IP 为192.168.1.121；另一个作为Slave 节点，局域网IP 为192.168.1.122。 准备工作 Hadoop 集群的安装配置大致为如下流程: 1.选定一台机器作为Master 2.在Master 节点上配置hadoop 用户、安装SSH server、安装Java 环境 3.在Master 节点上安装Hadoop，并完成配置 4.在其他Slave 节点上配置hadoop 用户、安装SSH server、安装Java 环境 5.将Master 节点上的/usr/local/hadoop 目录复制到其他Slave 节点上 6.在Master 节点上开启Hadoop 配置hadoop 用户、安装SSH server、安装Java 环境、安装Hadoop 等过程已经在Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置中有详细介绍，请前往查看，不再重复叙述。 继续下一步配置前，请先完成上述流程的前 4 个步骤。 网络配置 假设集群所用的节点都位于同一个局域网。 如果使用的是虚拟机安装的系统，那么需要更改网络连接方式为桥接（Bridge）模式，才能实现多个节点互连，例如在VirturalBox 中的设置如下图。此外，如果节点的系统是在虚拟机中直接复制的，要确保各个节点的Mac 地址不同（可以点右边的按钮随机生成MAC 地址，否则IP 会冲突）：
hadoop2.7.2 伪分布式安装
hadoop：建立一个单节点集群伪分布式操作 安装路径为：/opt/hadoop-2.7.2.tar.gz 解压hadoop: tar -zxvf hadoop-2.7.2.tar.gz 配置文件 1. etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/jdk1.8 2. etc/hadoop/core-site.xml
RoseHA 8.9 for Windows配合SQL Server 2008 R2配置文档
RoseHA 8.9 for Windows配合SQL Server 2008 R2配置文档 2013年7月27日
目录 一、文档说明 (3) 二、安装部署要求 (3) 1、集群环境拓扑结构 (3) 2、基础环境部署 (3) 三、安装配置SQL Server 2008 R2 (14) 1、安装SQL Server 2008 R2的先决条件 (14) 2、安装SQL Server 2008 R2 (16) 3、配置SQL Server的远程连接功能 (22) 4、安装SQL Server客户端 (25) 四、安装配置RoseHA (29) 五、测试 (39) 1、集群资源测试 (39) 2、集群切换测试 (40) 六、使用RoseHA工具 (42) 1、帮助文档 (42) 2、命令行管理工具 (42) 3、查看日志 (43)
一、文档说明 本文档主要介绍了在VMware8虚拟机环境中使用RoseHA8.9配合SQL Server 2008 R2的配置过程，对如何虚拟磁盘阵列以及两台虚拟机之间如何用RS232串口线连接和挂载虚拟存储也做了介绍。使用此文档，大家可以在自己的电脑上利用虚拟环境搭建RoseHA高可用集群测试系统。 二、安装部署要求 1、集群环境拓扑结构 2、基础环境部署 本实验集群拓扑实现目标如上图所示，以宿主机作为客户端，宿主机安装VMware8虚拟机，虚拟机中安装Windows server 2008 R2操作系统，并将系统的防火墙关闭；在虚拟机操作系统中安装SQL Server 2008 R2和RoseHA；按照RoseHA的配置规则，两台服务器之间至少有两条心跳线，可以使用两条以太网线作为心跳，如果条件允许，还可以使用RS232串行端口线作为心跳，以实现不同类型的心跳通信，加强心跳通信的可靠性。本实验采用以太网和RS232串行端口两种方式作为心跳；宿主机安装SQL Server 2008 R2客户端，使用此
hadoop伪分布式搭建2.0
1. virtualbox安装 1. 1. 安装步骤 1. 2. virtualbox安装出错情况 1. 2.1. 安装时直接报发生严重错误 1. 2.2. 安装好后，打开Vitualbox报创建COM对象失败，错误情况1 1. 2.3. 安装好后，打开Vitualbox报创建COM对象失败，错误情况2 1. 2.4. 安装将要成功，进度条回滚，报“setup wizard ended prematurely”错误 2. 新建虚拟机 2. 1. 创建虚拟机出错情况 2. 1.1. 配制好虚拟光盘后不能点击OK按钮 3. 安装Ubuntu系统 3. 1. 安装Ubuntu出错情况 3. 1.1. 提示VT-x/AMD-V硬件加速在系统中不可用 4. 安装增强功能 4. 1. 安装增强功能出错情况 4. 1.1. 报未能加载虚拟光盘错误 5. 复制文件到虚拟机 5. 1. 复制出错情况 5. 1.1. 不能把文件从本地拖到虚拟机 6. 配置无秘登录ssh 7. Java环境安装 7. 1. 安装Java出错情况 7. 1.1. 提示不能连接 8. hadoop安装 8. 1. 安装hadoop的时候出错情况 8. 1.1. DataNode进程没启动 9. 开机自启动hadoop 10. 关闭服务器（需要时才关） 1. virtualbox安装 1. 1. 安装步骤 1.选择hadoop安装软件中的VirtualBox-6.0.8-130520-Win
2.双击后进入安装界面，然后直接点击下一步 3.如果不想把VirtualBox安装在C盘，那么点击浏览
Rose软件的安装指南
在对系统连续运营要求较高的系统中，我们通常有RAID、hot spare来保障存储系统以及数据的安全性，但是仅仅存储系统的安全就足够了么？为了防止服务器应用程序的意外宕机，我们通常还会通过两台服务器冗余，且互为备份共同执行同一任务的架构模式来防止服务器错误的发生。这种架构也就是我们通常所说的双机热备的架构模式。 在众多对系统可靠性要求较高的业务环境中，双机热备系统都得到了广泛的应用，并发挥着重要的作用，为企业构筑高可用性系统提供了一种较为安全且成本相对较低的后台环境构架。 双机系统的基本构成通常包括了2台互为备份的服务器，后台往往公用一台存储系统，两台互为备份的服务器之间一般有心跳线连接，用以监控另一台服务器的运行状态，同时2台服务器上还需要运行双机热备的系统软件。任何导致系统当机或服务中断的故障，都会自动触发双机热备的系统软件流程来进行错误判定、故障隔离，并通过联机恢复来继续执行中断的服务。这样，预先指定的备份服务器将首先接管被中断的服务，并继续提供原有的服务。在这个过程中，用户所感受的只是需要经受一定程度可接受的时延，而能够在最短的时间内继续访问服务。 Rose HA是目前市面上应用非常广泛的一种双机HA软件，他由美国ROSE Datasystem Inc.提供，能够和windows操作平台无缝集成，因而并被多家服务器或者存储厂商以OEM 的形式销售提供给大家，被广泛用于在X86服务器基础上构架双机热备系统，拥有较大规模的市场基础和使用人群。但是双机软件的安装是比较容易出问题的环节，下面我们将以SQL Server数据库平台为例，介绍如何在win 2000，SQL Server的环境下构筑Rose HA。 安装环境： 双机环境的基本构成包括：两台服务器（以下分别称为“服务器1”和“服务器2”），一套磁盘整列柜，我们这里以SQL Server数据库软件为例，服务器采用win 2000的操作系统，采用Rose HA软件。软硬件都准备好了以后，我们先进行双机热备环境配置的准备工作。 1. 安装win 2000
(完整版)hadoop常见笔试题答案
Hadoop测试题 一．填空题，1分（41空），2分（42空）共125分 1.(每空1分) datanode 负责HDFS数据存储。 2.(每空1分)HDFS中的block默认保存 3 份。 3.(每空1分)ResourceManager 程序通常与NameNode 在一个节点启动。 4.(每空1分)hadoop运行的模式有：单机模式、伪分布模式、完全分布式。 5.(每空1分)Hadoop集群搭建中常用的4个配置文件为：core-site.xml 、hdfs-site.xml 、mapred-site.xml 、yarn-site.xml 。 6.(每空2分)HDFS将要存储的大文件进行分割，分割后存放在既定的存储块 中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求。 7.(每空2分)一个HDFS集群包括两大部分，即namenode 与datanode 。一般来说，一 个集群中会有一个namenode 和多个datanode 共同工作。 8.(每空2分) namenode 是集群的主服务器，主要是用于对HDFS中所有的文件及内容 数据进行维护，并不断读取记录集群中datanode 主机情况与工作状态，并通过读取与写入镜像日志文件的方式进行存储。 9.(每空2分) datanode 在HDFS集群中担任任务具体执行角色，是集群的工作节点。文 件被分成若干个相同大小的数据块，分别存储在若干个datanode 上，datanode 会定期向集群内namenode 发送自己的运行状态与存储内容，并根据namnode 发送的指令进行工作。 10.(每空2分) namenode 负责接受客户端发送过来的信息，然后将文件存储位置信息发 送给client ，由client 直接与datanode 进行联系，从而进行部分文件的运算与操作。 11.(每空1分) block 是HDFS的基本存储单元，默认大小是128M 。 12.(每空1分)HDFS还可以对已经存储的Block进行多副本备份，将每个Block至少复制到 3 个相互独立的硬件上，这样可以快速恢复损坏的数据。 13.(每空2分)当客户端的读取操作发生错误的时候，客户端会向namenode 报告错误，并 请求namenode 排除错误的datanode 后，重新根据距离排序，从而获得一个新的的读取路径。如果所有的datanode 都报告读取失败，那么整个任务就读取失败。14.(每空2分)对于写出操作过程中出现的问题，FSDataOutputStream 并不会立即关闭。 客户端向Namenode报告错误信息，并直接向提供备份的datanode 中写入数据。备份datanode 被升级为首选datanode ，并在其余2个datanode 中备份复制数据。 NameNode对错误的DataNode进行标记以便后续对其进行处理。 15.(每空1分)格式化HDFS系统的命令为：hdfs namenode –format 。 16.(每空1分)启动hdfs的shell脚本为：start-dfs.sh 。 17.(每空1分)启动yarn的shell脚本为：start-yarn.sh 。 18.(每空1分)停止hdfs的shell脚本为：stop-dfs.sh 。 19.(每空1分)hadoop创建多级目录（如：/a/b/c）的命令为：hadoop fs –mkdir –p /a/b/c 。 20.(每空1分)hadoop显示根目录命令为：hadoop fs –lsr 。 21.(每空1分)hadoop包含的四大模块分别是：Hadoop common 、HDFS 、
RoseHA 8.5 快速安装指南
RoseHA 8.5 快速安装指南 一第一部分RoseHA运行所需条件和环境及安装 1． RoseHA支持的系统环境（独立域，主备域，AD服务器） RoseHA支持Windows 2000 系列以及Windows 2003。RoseHA的光盘安装介质可用于Windows 2000及Windows 2003系统中HA的安装。RoseHA 支持独立域、主备域、以及Windows 2000和Windows 2003的AD服务器。两台主机的系统管理员的账号和密码必须一致。 2． RoseHA对网络配置的需求及要求 在安装RoseHA之前，系统的所有网卡应该已经全部驱动并设置了正确的IP地址等相关设置，并规划好公网和私网IP资源的分配。避免在安装了RoseHA 之后，再对系统的网络设置进行修改。 3． RoseHA心跳线需求 HA支持网卡类型和RS232类型的私网，对于配置RS232类型的心跳线，需要准备RS232串口线，配置好com口参数（通常按照系统默认值配置）。在HA中，建议配置两条以上的心跳线（Socket 类型或是RS232 类型，也可以混合使用），保证HA的正常运作。 关于RS232串口线的做法是：如果两端都是9 pin 的接头, 则pin 2 (RD), pin 3 (TD) 交叉反接, pin 5 (GND)直连, 其它pin 不连接: DB9 DB9 1 GND --------- 1 GND 2 RD --------- 3 TD 3 TD --------- 2 RD 5 GND --------- 5 GND 4． RoseHA对共享卷配置的需求及要求 共享磁盘阵列的准备，首先保证两台主机都已经正确连接并能正确访问到盘阵。其次，对于Windows 2000和Windows 2003系统，还必须确认操作系统中看到的磁盘阵列上的共享设备的类型，在磁盘管理器中将共享设备（disk）必须设置为基本卷，而不能是动态卷。两台主机系统缺省对于计划中将要使用的共享磁盘设备上的分区的设置需要保持一致。对于共享磁盘设备上各个分区的盘符的设定要保持一致性。对共享卷的文件系统推荐采用NTFS类型。另外，推荐使用有硬件锁功能的盘阵。这样确保在双机时只能有一边能访问到磁盘设备。5． RoseHA对应用程序配置的需求及要求 在安装RoseHA之前，应先安装需要由HA来监控管理的应用，并且将应用（或与应用有关）的数据创建到共享的盘阵上。然后修改需要由HA监控的服务的启动方式，在服务管理中将其改动为手动启动方式，并停止服务。
Hadoop云计算平台搭建最详细过程(共22页)
Hadoop云计算平台及相关组件搭建安装过程详细教程 ——Hbase+Pig+Hive+Zookeeper+Ganglia+Chukwa+Eclipse等 一．安装环境简介 根据官网，Hadoop已在linux主机组成的集群系统上得到验证，而windows平台是作为开发平台支持的，由于分布式操作尚未在windows平台上充分测试，所以还不作为一个生产平台。Windows下还需要安装Cygwin，Cygwin是在windows平台上运行的UNIX模拟环境，提供上述软件之外的shell支持。 实际条件下在windows系统下进行Hadoop伪分布式安装时，出现了许多未知问题。在linux系统下安装，以伪分布式进行测试，然后再进行完全分布式的实验环境部署。Hadoop完全分布模式的网络拓补图如图六所示： （1）网络拓补图如六所示： 图六完全分布式网络拓补图 （2）硬件要求：搭建完全分布式环境需要若干计算机集群，Master和Slaves 处理器、内存、硬盘等参数要求根据情况而定。 （3）软件要求 操作系统64位版本:
并且所有机器均需配置SSH免密码登录。 二． Hadoop集群安装部署 目前，这里只搭建了一个由三台机器组成的小集群，在一个hadoop集群中有以下角色：Master和Slave、JobTracker和TaskTracker、NameNode和DataNode。下面为这三台机器分配IP地址以及相应的角色： ——master，namenode，jobtracker——master（主机名） ——slave，datanode，tasktracker——slave1（主机名） ——slave，datanode，tasktracker——slave2（主机名） 实验环境搭建平台如图七所示：
Hadoop最全面试题整理(附目录)
Hadoop面试题目及答案(附目录) 选择题 1.下面哪个程序负责HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案C datanode 2. HDfS 中的block 默认保存几份？ a)3 份b)2 份c)1 份d)不确定 答案A 默认3 份 3.下列哪个程序通常与NameNode 在一个节点启动？ a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 答案D 分析：hadoop 的集群是基于master/slave 模式，namenode 和jobtracker 属于master，datanode 和tasktracker 属于slave，master 只有一个，而slave 有多个SecondaryNameNode 内存需求和NameNode 在一个数量级上，所以通常secondaryNameNode（运行在单独的物理机器上）和NameNode 运行在不同的机器上。 JobTracker 和TaskTracker JobTracker 对应于NameNode，TaskTracker 对应于DataNode，DataNode 和NameNode 是针对数据存放来而言的，JobTracker 和TaskTracker 是对于MapReduce 执行而言的。mapreduce 中几个主要概念，mapreduce 整体上可以分为这么几条执行线索：jobclient，JobTracker 与TaskTracker。 1、JobClient 会在用户端通过JobClient 类将应用已经配置参数打包成jar 文件存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker 创建每一个Task（即MapTask 和ReduceTask）并将它们分发到各个TaskTracker 服务中去执行。 2、JobTracker 是一个master 服务，软件启动之后JobTracker 接收Job，负责调度Job 的每一个子任务task 运行于TaskTracker 上，并监控它们，如果发现有失败的task 就重新运行它。一般情况应该把JobTracker 部署在单独的机器上。 3、TaskTracker 是运行在多个节点上的slaver 服务。TaskTracker 主动与JobTracker 通信，接收作业，并负责直接执行每一个任务。TaskTracker 都需要运行在HDFS 的DataNode 上。 4. Hadoop 作者 a)Martin Fowler b)Kent Beck c)Doug cutting 答案C Doug cutting 5. HDFS 默认Block Size a)32MB b)64MB c)128MB 答案：B 6. 下列哪项通常是集群的最主要瓶颈 a)CPU b)网络c)磁盘IO d)内存 答案：C 磁盘 首先集群的目的是为了节省成本，用廉价的pc 机，取代小型机及大型机。小型机和大型机
在windows下安装hadoop
在windows下通过安装cygwin模拟linux环境，然后再安装hadoop，是一种简单方便的方式。 首先是搭建cygwin环境： 一、安装cygwin 二、安装sshd服务 三、启动sshd服务 四、配置ssh无密码登录 一、此处无话可说，按照网上的文档，选择必要的组件即可。 二、 1 以管理员身份运行cygwin 2 输入：ssh-host-config 有关键的两步：*** Query: Do you want to use a different name? (yes/no)选择yes *** Query: Create new privileged user account 'cyg_server'? (yes/no) 选择yes 创建的用户名最好为新的用户名，密码最好与windows用户的密码一致 三、在开始菜单运ervices.msc或其他手段进入服务列表，找到cygwin sshd服务，查看属性是否为上一步的用户名登陆的，否则更改之。此时可能不能启动，需要在计算机右击“管理”，用户和组的管理中将上面的用户加入管理员的组，即授予管理员权限。 四、此时使用ssh服务，即输入：ssh localhost会要求输入密码，若显示为“last login:......”则说明已经正确安装ssh服务并且可以启动。 接下来是配置ssh的无密码登陆： 1输入：ssh-keygen （一直回车，一般是三次回车） 2 输入：cd ~/.ssh 3 输入：cp id_rsa.pub authorized_keys 此时输入exit退出cygwin，再次以管理员身份进入cygwin，输入ssh localhost，若没有要求输入密码便显示“last login.....”则说明成功了。 接下来是安装Hadoop： 一、安装JDK 二、下载hadoop及配置hadoop环境 三、格式化namenode 四、启动hadoop
RoseHA6.0安装调试手册
一、安装前的准备 1、硬件环境：服务器两台(每台服务器要求两块网卡,每个服务器的两个网卡一个做心跳用，一个连接到局域网上)、磁盘阵列一台、SCSI线两条。 2、软件环境：Windows200 3、Sqlserver 2000 for Windows2003、Rose HA6.0 For Windows。 3、注意：在连接SCSI线时，必须把主机和磁盘阵列断电。连接完成后，先开启磁盘阵列，后开启主机。将两台服务器的BIOS选择中Start Option选择改为Slot 5,(Slot 5是服务器RAID卡所在的槽位) 4、两台服务器：以下分别称为“服务器1”和“服务器2”。 二、安装Rose HA的过程 (一)硬件安装 1．用Rose软件所带的RS232串口线将服务器1和服务器2的COM口连接起来。 2．用交叉双绞线（一头是568A，一头是568B）连接服务器的网卡(专门做心跳用) 3．分别通过服务器的另外一块网卡将两台服务器连接到交换机上，分配ip地址（一般是用户内网网段地址），保证相互可以ping通。 注：建议使用两根心跳线，如果要通过网卡建立第二根心跳线，可用以下方法连接： 4．将心跳线的网卡Ip设置为200.200.200.109,200.200.200.110，子网掩码255.255.255.0(不能跟局域网在同一个网段)，测试ping。 (二)安装SqlServer2000 1、关闭服务器2，在服务器1上进行安装，进入SqlServer2000安装界面 2、当选择Data路径时，程序文件存放位置可以不做修改，Data文件夹可选为 Z:\Sqlserver_data(注：Sqlserver_data是手工建在磁盘阵列上的文件夹，Z盘为磁盘阵列的逻辑盘符) 3、安装完毕后，需要打SqlServer2000 Sp3补定 4、重启服务器，在数据库管理器里将SqlServer2000的服务，改为手动；手工启动数据库， 确保工作正常。 5、在服务器1上操作：关闭SqlServer数据库，删除Z:\Sqlserver_data文件夹，关闭服 务器1 6、启动服务器2，重复上述步骤2，3，4 7、启动服务器1，关闭服务器2上的SqlServer数据库，在服务器1上启动SqlServer数 据库，要保证启动各项服务都正常 8、进行Rose HA的安装和配置。 (三)RoseHA软件安装 进入光盘上软件所在的目录，运行SETUP程序，按照默认方式安装，当出现提示输入LOCAL 和REMOTE的主机名时，将本地服务器的主机名输入LOCAL栏里，将另一台服务器的主机名输入REMOTE。 三、配置Rose HA
Hadoop入门—Linux下伪分布式计算的安装与wordcount的实例展示
开始研究一下开源项目hadoop，因为根据本人和业界的一些分析，海量数据的分布式并行处理是趋势，咱不能太落后，虽然开始有点晚，呵呵。首先就是安装和一个入门的小实例的讲解，这个恐怕是我们搞软件开发的，最常见也最有效率地入门一个新鲜玩意的方式了，废话不多说开始吧。 本人是在ubuntu下进行实验的，java和ssh安装就不在这里讲了，这两个是必须要安装的，好了我们进入主题安装hadoop： 1.下载hadoop-0.20.1.tar.gz： https://www.360docs.net/doc/2717482801.html,/dyn/closer.cgi/hadoop/common/ 解压：$ tar –zvxf hadoop-0.20.1.tar.gz 把Hadoop 的安装路径添加到环/etc/profile 中: export HADOOP_HOME=/home/hexianghui/hadoop-0.20.1 export PATH=$HADOOP_HOME/bin:$PATH 2.配置hadoop hadoop 的主要配置都在hadoop-0.20.1/conf 下。 (1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同)： $ gedit hadoop-env.sh $ export JAVA_HOME=/home/hexianghui/jdk1.6.0_14 3.3)配置conf/core-site.xml, conf/hdfs-site.xml 及conf/mapred-site.xml(简单配置，datanode 的配置相同) core-site.xml:
07 hadoop完全分布式安装第七步：zookeeper分布式配置
实验七 zookeeper分布式的配置 tar -zxvf zookeeper-3.4.5.tar.gz mv zookeeper-3.4.5 zookeeper cd zookeeper mkdir data mkdir logs 三、集群模式 集群模式就是在不同主机上安装zookeeper然后组成集群的模式；下边以在192.168.1.1，192.168.1.2，192.168.1.3三台主机为例。 zookeeper 配置 1.Zookeeper服务集群规模不小于三个节点，要求各服务之间系统时间要保持一致。 2.在master的/home/chenlijun目录下，解压缩zookeeper（执行命令tar –zvxf zooke eper.tar.gz） 3.设置环境变量 打开/etc/profile文件！内容如下：
[html]view plain copy 1.#set java & hadoop 2. 3.export JAVA_HOME=/home/chenlijun/java/ 4. 5.export HADOOP_HOME=/home/chenlijun/hadoop 6. 7.export ZOOKEEPER_HOME=/home/chenlijun/zookeeper 8. 9.export PATH=.:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH 注：修改完后profile记得执行source /etc/profile 4.在解压后的zookeeper的目录下进入conf目录修改配置文件 更名操作：mv zoo_sample.cfg zoo.cfg 5.编辑zoo.cfg (vi zoo.cfg) 修改dataDir=/home/chenlijun/zookeeper/data/ 新增server.0=master:2888:3888 server.1=slave1:2888:3888 server.2=slave2:2888:3888 文件如下：
Roseha的安装配置
Roseha的安装配置 1．两台服务器：whjkapp和jkcti，都使用两个网卡，其中内网卡作为心跳线连接使用，外网卡用来连接交换机。首先分别在两台服务器上配置HOSTS文件，路径为：c:\windows\system32\driver\etc 配置如下： 100.100.100.10 whjkapp 100.100.100.20 jkcti 10.64.41.115 whjkapp 10.64.41.111 jkcti 10.64.41.120 roseserver 2．把两台服务器分别连接上存储，让它们可以正常访问存储上的分区。 3．先启动其中一台服务器如whjkapp，在它上面安装SQL SERVER 2005，新建个数据库，把数据库文件放在存储的分区上，测试能否正常访问。如果不能访问，查看网络、存储的配置。确定可以访问后，把数据库关闭，并在服务里把SQLSERVER的主服务停掉，启动方式改为手动，然后关闭whjkapp服务器。 启动jkcti服务器，在其上安装SQL数据库，可以附加之前的那个数据库文件，测试能否正常访问。同样把SQLSERVER主服务改为手动。 4．接下来配置ROSEHA双机软件 4.1 登陆whjkapp服务器，点击ROSEHA安装文件，开始安装。整个安装过程，很简单，一直下一步即可。有一点要注意就是：其中有一项在Local computer name中填入本地机名称：如whjkapp。Remote computer name中输入要做双机的服务器名称，如jkcti 同样进入jkcti服务器，安装ROSEHA文件。 4.2RoseHa 安装完成后，根据两台服务器的hostid 号码来申请授权文件， 添加正确的授权文件之后才能配置双机。（此授权文件都已copy至两台 服务器里） 4.3进入whjkapp服务器，打开ROSEHA软件，点击三角形开始按钮，在弹 出的Connect Cluster界面点击OK 4.4进入Tools-License Information，根据host id，输入Serial No、Data及 License，申请许可 4.5同样进入jkcti服务器，申请许可 4.6进入whjkapp服务器roseha配置界面，配置私有网络。也可以继续在jkcti 服务器上配置，目前我们是在whjkapp上配置主节点的。 点击Private Net-TCP/IP Socket，在弹出来的界面里，输入服务器相对应 的IP，如： whjkapp对应的ip是100.100.100.10 jkcti对应的ip是100.100.100.20 配置完，点击Add，添加 同样在jkcti服务器上添加私有网络 4.7 在配置Rosource资源之前，需要在两台服务器上分别点击Tools-Get NIC Information获取NIC信息，之后点击确定。 4.8 在whjkapp服务器ROSEHA配置界面下，点击resource-create-volume建
实验3 Hadoop安装与配置2-伪分布式
实验报告封面 课程名称： Hadoop大数据处理课程代码： JY1124 任课老师：宁穗实验指导老师: 宁穗 实验报告名称：实验3 Hadoop安装与配置2 学生： 学号： 教学班： 递交日期： 签收人： 我申明，本报告的实验已按要求完成，报告完全是由我个人完成，并没有抄袭行为。我已经保留了这份实验报告的副本。 申明人(签名): 实验报告评语与评分： 评阅老师签名：
一、实验名称：Hadoop安装与配置 二、实验日期：2015年9 月25 日 三、实验目的： Hadoop安装与配置。 四、实验用的仪器和材料： 安装环境:以下两个组合之一 1.硬件环境：存ddr3 4G及以上的x86架构主机一部 系统环境：windows 、linux或者mac os x 软件环境：运行vmware或者virtualbox (2) 存ddr 1g及以上的主机两部及以上 五、实验的步骤和方法： 本次实验重点在ubuntu中安装jdk以及hadoop。 一、关闭防火墙 sudo ufw disable iptables -F 二、jdk的安装 1、普通用户下添加grid用户
2、准备jdk压缩包，把jdk压缩包放到以上目录（此目录可自行设置） 3、将jdk压缩包解压改名 改名为jdk：mv jdk1.7.0_45 jdk 移动到/usr目录下：mv jdk /usr（此目录也可自行设置，但需与配置文件一致）4、设置jdk环境变量 此采用全局设置方法，更改/etc/profile文件 sudo gedit /etc/profile 添加（根据情况自行设置） export JA VA_HOME=/usr/jdk export JRE_HOME=/usr/ jdk/jre export CLASSPATH=.:$JA V A_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PA TH=$JA V A_HOME/bin: $JRE_HOME/ bin: $PATH 然后保存。 5、检验是否安装成功 java -version 二、ssh免密码 1、退出root用户，su grid 生成密钥 ssh-keygen –t rsa
RoseHA for Windows常见问题解答
RoseHA for Windows常见问题解答 （FAQ） 一、RoseHA for Windows的安装部署 1、RoseHA的私网心跳配置 答：建议至少配置两条心跳线以上，以避免私网心跳的单点故障，对于配置的心跳类型（Socket、RS232）可以自由组合。例如：如果配置两条心跳，可以都为Socket类型、也可以都为RS232类型、也可以为一个Socket和一个RS232。 2、网络IP的配置方式 答：主机的IP必须是手动指定方式配置，不支持通过DHCP方式获取的IP。 3、主机的计算机名称 答：在安装RoseHA的过程中，本地主机和远程主机的计算机名称必须与实际的计算机名称一致，不能是自定义的名称标识或主机的IP等。 4、RoseHA双机部署的步骤 答：① 分别在两台主机上部署应用，并将应用的数据存放在共享磁盘上。 ② 分别在两台主机上手动测试应用服务是否能够正常启停和应用。 ③ 安装RoseHA，创建应用服务的高可用资源，带入资源测试。 RoseHA for Windows详细的部署安装步骤，请参阅RoseHA for Windows快速安装文档。 二、RoseHA for Windows的配置 1、创建心跳时，报告License无效 答：检查已注册的License是否输入完整。 2、创建心跳完成后，心跳无法正常通信 答：① 检查两台主机上是否安装防火墙等网络安全类软件，如有，则修改网络安全的配置，允许心跳端口通信。 ② 两台主机的心跳配置是否一致；心跳UDP端口是否与其他应用端口冲突，如有端口冲突，修改心跳UDP端口的配置。 3、创建文件共享资源时，没有显示共享目录 答：先将共享磁盘中需要共享的目录配置共享之后，才能在创建文件共享的窗口中看到共享目录资源。 4、创建NT Server资源时，无法找到应用的服务 答：检查两台主机上的应用服务名称是否完全一致，以及应用服务的启动方式是否都改成手动。 5、RoseHA中提供的6种高可用资源是否都需要配置 答：不是，配置高可用资源的种类和数量是根据实际的应用环境而定的，比如：在信息应用系统中，一般不需要配置主机别名和文件共享资源。 三、RoseHA for Windows的维护 1、双机正常运行过程中，心跳通信异常中断 答：① 检查两台主机心跳的IP通信是否正常。
RoseHA 8.9 for Linux快速安装说明
RoseHA 8.9 for Linux 快速安装说明 (v1.2) 2013-03
目录 一部署准备和要求 (1) 1RoseHA集群的拓扑结构 (1) 2硬件和系统环境准备 (1) 3应用服务部署要求 (5) 4数据安全要求 (6) 二ROSEHA的配置 (6) 1安装RoseHA (6) 2RoseHA服务 (8) 3卸载RoseHA (9) 4启动RoseHA控制中心界面 (11) 5创建群集 (13) 6创建应用资源 (16) 7手工测试脚本 (26) 三管理资源组 (28) 1带入资源组 (28) 2切换资源组 (29) 3带出资源组 (30) 4修改资源组 (31) 5删除资源组 (31) 四测试资源 (32) 1手动切换 (32) 2关机测试 (33) 3拔线测试 (34) 4杀进程测试 (34) 五工具的使用 (34) 1帮助文档 (34) 2文本界面管理工具 (35) 3日志查看 (35)
一部署准备和要求 1 RoseHA集群的拓扑结构 RoseHA集群环境的拓扑结构，如下图所示。 如上图所示，RoseHA集群硬件结构主要包括两台硬件服务器A和B，以及一台磁盘阵列。 2 硬件和系统环境准备 1) 操作系统的配置准备 两台服务器安装部署完全相同版本的操作系统，RoseHA 8.9 for Linux可以安装在Linux的各个发行版本上。 分别设置不同的主机名。（比如：Server1、Server2） 2) 集群心跳的配置准备 RoseHA高可用集群至少需要配置两组直连心跳线，以防止心跳的单点故障，心跳线类型支持
TCP/IP Socket类型和RS232类型。具体的接入方式说明如下。 如果每台服务器有三片以上的物理网卡，则其中一片网卡连接交换机并用于配置集群的公网(应用服务客户端访问的网络)；其它两片网卡，两台服务器之间使用网线直连，配置两组 冗余的私网心跳。如果物理条件允许，还可以再添加一条RS232串口心跳线，两台服务器 之间直连，配置RS232类型心跳，以实现不同类型的心跳通信，提高心跳通信的可靠性。 推荐用户采用此配置方式。 如果每台服务器仅有两片物理网卡，则其中一片网卡连接交换机并用于配置集群的公网，另一片网卡采用网线将两台服务器直连并配置为其中一条心跳；并且，必须再添加一条直 连的RS232串口心跳线，以实现冗余的直连心跳。 如需要配置RS232类型的心跳线，需要准备RS232串口线并确保线路和串口能够正常通信。RS232串口心跳线做法：9pin的口，其中1-1，2-3，3-2，5-5，其余口可以不用接线。 3) 网络的配置准备 手工配置每台服务器的所有计划使用网卡的静态IP（不能是DHCP方式动态获取的IP），同一台主机上每片网卡的IP需设置为不同网段。确保计划使用的所有网段和串口线路通信 正常。 如果服务器所在的内网，没有要求服务器必须设置防火墙等网络安全类软件，可以将防火墙关闭，并且设置其为永不启动。如需启动操作系统自带的防火墙，请开放如下端口和网 络通信权限： TCP：9527;7535 UDP：9528;7534; 私有网心跳端口（默认3000,3001...） ICMP：开放所有网络接口的ICMP（ping）数据包 规划客户端访问集群中应用服务的虚拟IP（需要在Rose软件中配置）。 如果物理条件允许，建议每台服务器的公网网卡接入不同的网络交换机，以防止单个网络交换机故障导致整个集群不可用的情况发生。 4) 磁盘阵列的准备 建议磁盘阵列创建2种类型的磁盘，其中1种磁盘作为存储应用数据的共享磁盘，另1种磁盘作为集群的仲裁磁盘。 存储应用数据的共享磁盘容量大小由应用数据容量而定。将应用数据共享磁盘分别映射至高可用集群的服务器节点，以用于存放应用服务数据文件并作为高可用集群的共享磁盘资源，确认各服