Hadoop安装部署手册

Hadoop安装部署手册
Hadoop安装部署手册

1安装环境介绍1.1软件环境

1)CentOS6.5x64

2)Jdk1.7x64

3)Hadoop2.6.2x64

4)Hbase-0.98.9

5)Zookeeper-3.4.6

1.2集群环境

集群中包括3个节点:1个Master,2个Slave

2安装前的准备

2.1下载JDK

2.2下载Hadoop

2.3下载Zookeeper

2.4下载Hbase

3开始安装

3.1CentOS安装配置

1)安装3台CentOS6.5x64(使用BasicServer模式,其他使用默认配置,安装过程略)

2)Master.Hadoop配置

a) 配置网络

保存,退出(esc+:wq+enter),使配置生效

b) 配置主机名

修改为:

c) 配置hosts

修改为:

修改为:

在最后增加如下内容

以上调整,需要重启系统才能生效

g) 配置用户

新建hadoop用户和组,设置hadoop用户密码

id_rsa

和id_rsa.pub ,默认存储在

"/home/hadoop/.ssh"目录下。 a) 把id_rsa.pub 追加到授权的key 里面去

b) 修改

.ssh 目录的权限以及

authorized_keys 的权限

c) 用root 用户登录服务器修改SSH 配置文件"/etc/ssh/sshd_config"

的下列内容 3) Slave1.Hadoop 、Slave1.Hadoop 配置

相同的方式配置Slave1和Slave2的IP 地址,主机名和hosts 文件,新建hadoop 用户和组及用户密码等等操作

3.2 无密码登陆配置

1) 配置Master 无密码登录所有Slave

a) 使用hadoop 用户登陆Master.Hadoop

b) 把公钥复制所有的Slave 机器上。使用下面的命令格式进行复制公钥

2) 配置Slave 无密码登录Master

a) 使用hadoop 用户登陆Slave

b) 把公钥复制Master 机器上。使用下面的命令格式进行复制公钥

c) 在Master 机器上将公钥追加到authorized_keys 中

3.3 安装

JDK

所有的机器上都要安装JDK ,先在Master 服务器安装,然后其他服务器按照步骤重复进行即可。安装JDK 以及配置环境变量,需要以"root"的身份进行。

1) 解压缩文件 2)

增加如下内容:

3) 4) 5) 3.4 因为官网,以下使用root 身份进行安装。

1) 将hadoop 安装包上传到服务器/usr/local/目录下 2) 解压缩文件

3) 4) 编辑/etc/hadoop/hadoop-env.sh

修改JAVA_HOME 的配置: 5) 编辑/etc/hadoop/core-site.xml

修改为:

6) 7) 8) 9) 101112增加如下内容:

13)

在Slave 上重复以上步骤,安装Hadoop (以下为从Master 复制hadoop 到Slave )

14)

在Slave 上进行如上配置后,使用使用hadoop 用户启动服务 第一次启动需要在Master.Hadoop 执行 再启动yarn

在Master 验证启动进程 在Slave 验证启动进程 15)

网页查看集群

3.5 安装Zookeeper

1) 解压缩文件 2) 3) 根据zoo_sample.cfg 创建zoo.cfg 并修改

4) 为2,3

5) 配置环境变量

增加如下内容:

6) 把该文件夹的读权限分配给普通用户hadoop 7)

8) 用hadoop 用户启动ZooKeeper 集群 9) 103.6 1) 以root 身份将上传到服务器/usr/local/目录下 2) 解压缩文件

3) 修改为:

4) 编辑/conf/hbase-site.xml

在configuration 里添加:

5)6)

7) 删除安装包

8

) 把该文件夹的读权限分配给普通用户hadoop

9

1011:60030 :60030

4 集群的启动和查看

4.1 启动

1) 启动顺序为:HDFS->ZooKeeper->Hbase 以下操作都是使用hadoop 用户 Master 节点启动Hadoop 集群:

Master 节点启动Hbase 集群

4.2 命令查看

Master 节点上执行 4.3

:60030

4.4停止

停止顺序为:Hbase->ZooKeeper->HDFS 以下操作都是使用hadoop用户

Master节点停止Hbase集群

每个节点停止ZooKeeper集群:

Master节点停止Hadoop集群:

zabbix安装配置

Zabbix 一安装配置: 环境搭建: VMware? Workstation 12 Pro (12.0.0 build-2985596) CentOS-7-x86_64-DVD-1511.iso (user:root password: toor00 ) zabbix-3.0.3.tar 安装过程: Installation from sources You can get the very latest version of Zabbix by compiling it from the sources. A step-by-step tutorial for installing Zabbix from the sources is provided here. 1 Installing Zabbix daemons 1 Download the source archive Go to the Zabbix download page and download the source archive. Once downloaded, extract the sources, by running: $ tar -zxvf zabbix-3.0.0.tar.gz Enter the correct Zabbix version in the command. It must match the name of the downloaded archive. 2 Create user account For all of the Zabbix daemon processes, an unprivileged user is required. If a Zabbix daemon is started from an unprivileged user account, it will

Hadoop集群MYSQL的安装指南

前言 本篇主要介绍在大数据应用中比较常用的一款软件Mysql,我相信这款软件不紧紧在大数据分析的时候会用到,现在作为开源系统中的比较优秀的一款关系型开源数据库已经被很多互联网公司所使用,而且现在正慢慢的壮大中。 在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是:1、写程序利用 mapper-Reducer的算法平台进行分析;2、利用Hive组件进行书写Hive SQL进行分析。 第二种方法用到的Hive组件存储元数据最常用的关系型数据库最常用的就是开源的MySQL了,这也是本篇最主要讲解的。 技术准备 VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++ 软件下载 我们需要从Mysql官网上选择相应版本的安装介质,官网地址如下: MySQL下载地址:https://www.360docs.net/doc/5a6242506.html,/downloads/

默认进入的页面是企业版,这个是要收费的,这里一般建议选择社区开源版本,土豪公司除外。

然后选择相应的版本,这里我们选择通用的Server版本,点击Download下载按钮,将安装包下载到本地。 下载完成,上传至我们要安装的系统目录。 这里,需要提示下,一般在Linux系统中大型公用的软件安装在/opt目录中,比如上图我已经安装了Sql Server On linux,默认就安装在这个目录中,这里我手动创建了mysql目录。 将我们下载的MySQL安装介质,上传至该目录下。

安装流程 1、首先解压当前压缩包,进入目录 cd /opt/mysql/ tar -xf mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar 这样,我们就完成了这个安装包的解压。 2、创建MySql超级管理用户 这里我们需要单独创建一个mySQL的用户,作为MySQL的超级管理员用户,这里也方便我们以后的管理。 groupaddmysql 添加用户组 useradd -g mysqlmysql 添加用户 id mysql 查看用户信息。

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu_CentOS

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS 本教程讲述如何配置Hadoop 集群,默认读者已经掌握了Hadoop 的单机伪分布式配置,否则请先查看Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置。 本教程由厦门大学数据库实验室出品,转载请注明。本教程适合于原生Hadoop 2,包括Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,保证按照步骤来,都能顺利安装并运行Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。 为了方便新手入门,我们准备了两篇不同系统的Hadoop 伪分布式配置教程。但其他Hadoop 教程我们将不再区分,可同时适用于Ubuntu 和CentOS/RedHat 系统。例如本教程以Ubuntu 系统为主要演示环境,但对Ubuntu/CentOS 的不同配置之处、CentOS 6.x 与CentOS 7 的操作区别等都会尽量给出注明。 环境 本教程使用Ubuntu 14.04 64位作为系统环境,基于原生Hadoop 2,在Hadoop 2.6.0 (stable)版本下验证通过,可适合任何Hadoop 2.x.y 版本,例如Hadoop 2.7.1,Hadoop 2.4.1 等。 本教程简单的使用两个节点作为集群环境: 一个作为Master 节点,局域网IP 为192.168.1.121;另一个作为Slave 节点,局域网IP 为192.168.1.122。 准备工作 Hadoop 集群的安装配置大致为如下流程: 1.选定一台机器作为Master 2.在Master 节点上配置hadoop 用户、安装SSH server、安装Java 环境 3.在Master 节点上安装Hadoop,并完成配置 4.在其他Slave 节点上配置hadoop 用户、安装SSH server、安装Java 环境 5.将Master 节点上的/usr/local/hadoop 目录复制到其他Slave 节点上 6.在Master 节点上开启Hadoop 配置hadoop 用户、安装SSH server、安装Java 环境、安装Hadoop 等过程已经在Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置中有详细介绍,请前往查看,不再重复叙述。 继续下一步配置前,请先完成上述流程的前 4 个步骤。 网络配置 假设集群所用的节点都位于同一个局域网。 如果使用的是虚拟机安装的系统,那么需要更改网络连接方式为桥接(Bridge)模式,才能实现多个节点互连,例如在VirturalBox 中的设置如下图。此外,如果节点的系统是在虚拟机中直接复制的,要确保各个节点的Mac 地址不同(可以点右边的按钮随机生成MAC 地址,否则IP 会冲突):

DataStageV8.5配置连接oracle操作手册

DataStageV8.5配置连接oracle 操作手册 编制:长安铃木信息系统课 王川 2012-5-7

目录 1概述 (4) 1.1编写目的 (4) 1.2系统配置 (4) 1.3事前准备 (4) 2开始安装客户端 (4) 3配置DATASTAGE 环境 (6) 4配置测试 (7)

文档版本记录 版本编号变更内容变更人日期

DataStageV8.5配置连接oracle 操作手册 1概述 1.1 编写目的 DataStage V8.5 在安装后默认支持DB2 数据库,为了实现抽取ORACLE 数据库,需要配置服务器端。 1.2 系统配置 DataStage V8.5 Suse linux server sp1 1.3 事前准备 1、安装XFTP:传递文件。 2、开启SSH服务:终端控制。 3、Oracle官网下载11g client。 https://www.360docs.net/doc/5a6242506.html,/technetwork/database/enterprise-edition/downloads/112010-linuxsoft- 085393.html 2开始安装客户端 1、FTP上传linux_11gR2_client.zip ,并解压至TMP目录。 2、创建组和权限。 groupadd oinstall groupadd dba useradd –g oinstall –G dba –m oracle passwd oracle mkdir –p /home/oracle/ chown -R oracle:oinstall /home/oracle/ 3、修改环境配置文件。 /etc/sysctl.conf 加上如下内容 fs.aio-max-nr = 1048576 fs.file-max = 6815744 kernel.shmall = 2097152 kernel.shmmax = 536870912 kernel.shmmni = 4096 kernel.sem = 250 32000 100 128 net.ipv4.ip_local_port_range = 9000 65500 net.core.rmem_default = 262144 net.core.rmem_max = 4194304 net.core.wmem_default = 262144 net.core.wmem_max = 1048586 net.ipv4.tcp_wmem = 262144 262144 262144 net.ipv4.tcp_rmem = 4194304 4194304 4194304

【免费下载】Zabbix安装使用手册

Zabbix安装使用手册 目录 ZABBIX安装使用手册 (1) 1、安装配置POSTGRESQL9.3 (1) 第一部分安装 1、安装配置Postgresql9.3 2、添加zabbix账户、zabbix数据库 psql –U pgsql postgres postgres=# create user zabbix with password ‘zabbix’ postgres=# LOGIN CREATEDB CREATEROLE; CREATE ROLE postgres=# create database zabbix owner zabbix; CREATE DATABASE postgres=# grant all privileges on database zabbix to zabbix; GRANT 3、安装zabbix-server cd /usr/ports/net-mgmt/zabbix22-server/ make install clean 4、导入zabbix数据模板 root@bsd:/# cd /usr/local/share/zabbix22/server/database/postgresql root@bsd:/usr/local/share/zabbix22/server/database/postgresql# cat schema.sql | psql –U zabbix zabbix; root@bsd:/usr/local/share/zabbix22/server/database/postgresql# cat images.sql | psql –U zabbix zabbix; root@bsd:/usr/local/share/zabbix22/server/database/postgresql# cat data.sql | psql –U zabbix zabbix; 5、配置zabbix -server root@bsd:/usr/local/etc/zabbix22# cp/usr/local/etc/zabbix22/zabbix_server.conf.sample

Hadoop-0.20.2详细安装及疑难问题

安装 2011年4月4日 10:13 Hadoop-0.20.2安装使用 1、Cygwin 安装 ssh 2、按照以下的文档配置ssh 在Windows上安装Ha doop教程.pdf 3、几个配置文件的配置 3.1、conf/core-site.xml https://www.360docs.net/doc/5a6242506.html, hdfs://localhost:9000 true hadoop.tmp.dir /workspace/temp/hadoop/tmp/hadoop- ${https://www.360docs.net/doc/5a6242506.html,} true 3.2、conf/hdfs-site.xml dfs.replication 1 true https://www.360docs.net/doc/5a6242506.html,.dir /workspace/temp/hadoop/data/hadoop/name true

dfs.data.dir /workspace/temp/hadoop/data/hadoop/data true 3.3、conf/mapred-site.xml mapred.job.tracker localhost:9001 true 3.4、conf/hadoop-env.sh export JAVA_HOME=D:/workspace/tools/jdk1.6 4、解决启动的时候 ClassNotFound: org.apache.hadoop.util.PlatformName 将 %hadoop_home%\bin\hadoop-config.sh中的第190行 修改为如下: JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m -classpath ${HADOOP_COMMON_HOME}/hadoop-common-0.21.0.jar org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"` 5、命令

zabbix环境部署详细步骤(小白可入)

Zabbix部署流程 目录 1、计划安排 (2) 2、环境准备 (2) 3、软件安装(lamp) (2) 4、配置文件修改 (3) 5、web初始化及登陆 (4) 6、监控项模板配置 (5) 7、网络自动发现主机 (8) 8、添加监控项的触发器及对应的动作 (11) 9、在zabbix-server端配置简单的邮件postfix服务 (16) 10、用户与报警媒介关联 (18)

1、计划安排 2、环境准备 Zabbix-server端(10.21.X.X):操作系统:centos7.1 硬件:4c/8G 80G 安装图形化 Mysql数据库端(10.21.20.202):操作系统:centos7.1 硬件:4c/8G 120G 3、软件安装(lamp) (1)Zabbix-Server组件: yum –y install net-snmp* gcc 下载zabbix-3.2.7.tar.gz包并进行编译安装(./configure –prefix=/usr/local/zabbix --enable –server --enable-agent --with-mysql --with-net-snmp)---- make (注编译时若出现报错,按照报错解决依赖包问题) (2)web 组件(注意php的软件版本一定要保持一致5.4) yum -y install httpd php php-mysql yum -y localinstall zabbix-web-3.2.0 zabbix-web-mysql-3.2.0 php-mbstring php-bcmath (3)数据库端

Hadoop全分布式安装配置

Hadoop全分布式安装配置 一实验目的: 1、了解Hadoop的体系结构、组成; 2、熟练掌握Hadoop的配置、安装方法; 3、通过安装Hadoop了解Hadoop的原理; 二实验内容: 集群包含三个安装了Linux操作系统的节点。将其中的一个节点作为NameNode,另外两个节点作为DataNode,安装之前先利用ping命令,确认三个节点之间的网络互通,即可以互相ping通。假设三个节点IP地址如下,实际的集群节点IP地址可以不同。 NameNode:192.168.198.2 主机名:master DataNode1:192.168.198.3 主机名:slaver1 DataNode2:192.168.198.4 主机名:slaver2 三实验环境: 在申请的虚拟服务器上安装了VMWare Workstation虚拟3个Ubuntu14.04系统。 四安装配置过程: 1、安装Vmware WorkStation软件 下载安装Vmware WorkStation12.0软件。 2、在虚拟机上安装linux操作系统 在Vmware WorkStation12.0中创建一个Ubuntu14.04系统。拷贝镜像文件复制出三个系统。分别为master、slaver1、slaver2。 3、配置hosts、hostname文件

在三台机器上配置相同的hosts文件 (1)修改hosts sudo gedit /etc/hosts 192.168.198.200 master 192.168.198.199 slave1 192.168.198.198 slave2 (2)修改hostname sudo gedit /etc/hostname 4、配置ip地址 配置ip:sudo gedit /etc/network/interfaces slave2 auto eth0 iface eth0 inet static address 192.168.198.198 gateway 192.168.198.107 netmask 255.255.255.0 slave1 auto eth0 iface eth0 inet static address 192.168.198.199 gateway 192.168.198.107 netmask 255.255.255.0 master auto eth0 iface eth0 inet static address 192.168.198.200 gateway 192.168.198.107 netmask 255.255.255.0

centos下hadoop2.6.0配置

Hadoop-2.6.0配置 前面的部分跟配置Hadoop-1.2.1的一样就可以,什么都不用变,完全参考文档1即可。下面的部分就按照下面的做就可以了。 hadoop-2.6.0的版本用张老师的。 下面的配置Hadoop hadoop-2.6.0的部分 1.修改hadoop- 2.6.0/etc/hadoop/hadoop-env.sh,添加JDK支持: export JAVA_HOME=/usr/java/jdk1.6.0_45 如果不知道你的JDK目录,使用命令echo $JAVA_HOME查看。 2.修改hadoop-2.6.0/etc/hadoop/core-site.xml 注意:必须加在节点内 hadoop.tmp.dir /home/hadoop/hadoop-2.6.0/tmp Abase for other temporary directories. https://www.360docs.net/doc/5a6242506.html, hdfs://master:9000 3.修改hadoop-2.6.0/etc/hadoop/hdfs-site.xml https://www.360docs.net/doc/5a6242506.html,.dir /home/hadoop/hadoop-2.6.0/dfs/name Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently. dfs.data.dir /home/hadoop/hadoop-2.6.0/dfs/data Comma separated list of paths on the local filesystem of a DataNode where it should store its blocks. dfs.replication 1 4.修改hadoop-2.6.0/etc/hadoop/mapred-site.xml

DataStage-V11.3部署手册

DataStageV11.3 安装手册 修订记录

一、基础安装环境检查 1.操作系统Redhat Linux6需要的安装补丁包 glibc-2.12-1.107.el6.x86_64 libXp-1.0.0-15.1.el6.x86_64 libXau-1.0.5-1.el6.x86_64 libXext-1.1-3.el6.x86_64 libX11-1.3-2.el6.x86_64 libxcb-1.5-1.el6.x86_64 libXmu-1.0.5-1.el6.x86_64 nss-softokn-freebl-3.14.3-9.el6.x86_64 pam-1.1.1-4.el6_0.1.x86_64 libaio-0.3.107-10.el6.x86_64 libstdc++-4.4.7-3.el6.x86_64 compat-libstdc++-33-3.2.3-69.el6.x86_64 libgcc-4.4.7-3.el6.x86_64 2.检查操作方法 rpm –qa | grep glibc 3.授权文件配置 将授权文件解压至安装文件is-suite文件夹下

二、创建oracle数据库 1.将DataStage初始化Oracle数据库脚本上传至数据库 服务器 2.依次执行数据库初始化脚本 ./create_xmeta_db.sh sys Oracle123 orcldb dsadmin dsadmin'!'123 DATASTAGE /oracle/app/oracle/oradata/orcldb ./create_xmeta_db.sh sys Oracle123 orcldb wsadmin wsadmin'!'123 DATASTAGE1 /oracle/app/oracle/oradata/orcldb

Centos7安装配置zabbix

Centos7安装配置zabbix 1 关闭firewall systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 2 安装iptables防火墙 yum install iptables-services #安装 vi /etc/sysconfig/iptables #编辑防火墙配置文件 *filter :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT #追加这行-A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT #追加这行 -A INPUT -j REJECT --reject-with icmp-host-prohibited -A FORWARD -j REJECT --reject-with icmp-host-prohibited COMMIT systemctl restart iptables.service #最后重启防火墙使配置生效 systemctl enable iptables.service #设置防火墙开机启动 3 关闭SELINUX vi /etc/selinux/config

hadoop集群完整配置过程详细笔记

本文为笔者安装配置过程中详细记录的笔记 1.下载hadoop hadoop-2.7.1.tar.gz hadoop-2.7.1-src.tar.gz 64位linux需要重新编译本地库 2.准备环境 Centos6.4 64位,3台 hadoop0 192.168.1.151namenode hadoop1 192.168.1.152 datanode1 Hadoop2 192.168.1.153 datanode2 1)安装虚拟机: vmware WorkStation 10,创建三台虚拟机,创建时,直接建立用户ha,密码111111.同时为root密码。网卡使用桥接方式。 安装盘 、 2). 配置IP.创建完成后,设置IP,可以直接进入桌面,在如下菜单下配置IP,配置好后,PING 确认好用。 3)更改三台机器主机名 切换到root用户,更改主机名。 [ha@hadoop0 ~]$ su - root Password: [root@hadoop0 ~]# hostname hadoop0 [root@hadoop0 ~]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop0 以上两步后重启服务器。三台机器都需要修改。 4)创建hadoop用户 由于在创建虚拟机时,已自动创建,可以省略。否则用命令创建。

5)修改hosts文件 [root@hadoop0 ~]# vi /etc/hosts 127.0.0.1 localhostlocalhost.localdomain localhost4 localhost4.localdomain4 ::1localhostlocalhost.localdomain localhost6 localhost6.localdomain6 192.168.1.151 hadoop0 192.168.1.152 hadoop1 192.168.1.153 hadoop2 此步骤需要三台机器都修改。 3.建立三台机器间,无密码SSH登录。 1)三台机器生成密钥,使用hadoop用户操作 [root@hadoop0 ~]# su– ha [ha@hadoop0 ~]$ ssh -keygen -t rsa 所有选项直接回车,完成。 以上步骤三台机器上都做。 2)在namenode机器上,导入公钥到本机认证文件 [ha@hadoop0 ~]$ cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys 3)将hadoop1和hadoop2打开/home/ha/.ssh/ id_rsa.pub文件中的内容都拷贝到hadoop0的/home/ha /.ssh/authorized_keys文件中。如下: 4)将namenode上的/home/ha /.ssh/authorized_keys文件拷贝到hadoop1和hadoop2的/home/ha/.ssh文件夹下。同时在三台机器上将authorized_keys授予600权限。 [ha@hadoop1 .ssh]$ chmod 600 authorized_keys 5)验证任意两台机器是否可以无密码登录,如下状态说明成功,第一次访问时需要输入密码。此后即不再需要。 [ha@hadoop0 ~]$ ssh hadoop1 Last login: Tue Aug 11 00:58:10 2015 from hadoop2 4.安装JDK1.7 1)下载JDK(32或64位),解压 [ha@hadoop0 tools]$ tar -zxvf jdk-7u67-linux-x64.tar.gz 2)设置环境变量(修改/etx/profile文件), export JAVA_HOME=/usr/jdk1.7.0_67 export CLASSPATH=:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 3)使环境变量生效,然后验证JDK是否安装成功。

hadoop2.6基于yarn安装配置详解

Hadoop2.6配置详解 在hadoop2.0中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换。 这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当Active NameNode挂掉了,会自动切换Standby NameNode为standby状态hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.6解决了这个问题,有两个ResourceManager,一个是Active,一个是Standby,状态由zookeeper进行协调 hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM(由cloudra提出,原理类似zookeeper)。这里我使用QJM完成。主备NameNode之间通过一组JournalNode同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode 1安装前准备 1.1示例机器 192.168.0.10 hadoop1 192.168.0.20 hadoop2 192.168.0.30 hadoop3 192.168.0.40 hadoop4 每台机器都有一个hadoop用户,密码是hadoop 所有机器上安装jdk1.7。 在hadoop2,hadoop3,hadoop4上安装Zookeeper3.4集群。 1.2配置ip与hostname 用root用户修改每台机器的hosts

【BI安装】Datastage_V8.1.0_for_Rhel5.4_64bit安装文档

Information Server8.1.0安装文档 目录 Information Server8.1.0安装文档 (1) 备注说明: (1) 安装前系统要求: (2) 1)WAS安装包需求: (2) 2)Infomation Server安装包需求: (3) 3)Linux内核参数最低需求 (3) 4)HP-UX内核参数最底要求 (4) 5)产品和必须安装这些产品的层。 (4) 安装步骤: (5) 一、系统环境: (5) 二、修改内核参数,安装必要必定包: (6) 三、安装WAS和两个升级补丁包 (6) 1)安装WAS (6) 2)将WAS升级到6.0.2.0版本 (10) 3)将WAS升级到6.0.2.7版本 (12) 四、安装Information Server (18) 参数配置: (29) 1.配置dsenv文件 (29) 2.配置ODBC参数 (30) 3.配置DS编译器变量 (32) 4.配置dsadm用户的.bash_profile文件 (32) IIS服务启动和停止: (32) 1.服务停止 (32) 3.服务启动 (33) 备注说明: 1.要在Linux?和UNIX?上复用现有的DB2安装,必须使用DB2故障监视组件(需要 在/etc/inittab文件中输入故障监视器(db2fmcd)的路径)。 db2fmcd命令必须指向实际的可执行文件位置,例如: fmc:234:respawn:/u1/IBM/db2/V9/bin/db2fmcd#DB2Fault Monitor Coordinator 2.需要的C++编译器和运行时库:

对于64位HP-UX11i v2on Intel Itaium 6.16acc:HP C/aC++B3910B A.06.14 32位和64位Red Hat Enterprise Linux5Advanced Platform GCC 4.1.2 对于HP-UX11.x和10.x,用下面的命令确定版本: what/opt/CC/bin/CC 3.WAS官网安装文档: https://www.360docs.net/doc/5a6242506.html,/infocenter/wasinfo/v6r0/index.jsp InfoServ文档: https://www.360docs.net/doc/5a6242506.html,/infocenter/iisinfsv/v8r1/index.jsp?topic=/com.ibm.swg.im.iis. productization.iisinfsv.relinfo.doc/topics/iisihrinfo_infsv_rnote_v81ga.html 各种指南:https://www.360docs.net/doc/5a6242506.html,/support/docview.wss?rs=14&uid=swg27013660 DB2官方文档: https://www.360docs.net/doc/5a6242506.html,/infocenter/db2luw/v9r5/index.jsp?topic=/com.ibm.db2.luw.qb.se rver.doc/doc/t0006477.html 结构拓扑图: 安装前系统要求: 1)WAS安装包需求: compat-libstdc++-33-3.2.3-61

Zabbix安装配置手册- -

Zabbix 手册 目录 Ⅰ Zabbix简介 (1) 一、Zabbix介绍 (1) 二、Zabbix系统架构 (4) 1.Zabbix架构: (4) 2.Zabbix架构说明: (5) Ⅱ Zabbix安装 (8) 一、Zabbix安装 (8) 1、安装基础包 (8) 2、启动httpd、mysql (9) 3、配置防火墙 (9) 4、配置PHP参数 (9) 5、修改httpd 的FQDN 错误 (10) 6、下载zabbix-3.0.3tar.gz (10) 7、添加zabbix 用户和组 (11)

8、安装zabbix-server (11) 9、创建zabbix 数据库以及相关表 (11) 10、配置软连接和启动文件信息 (12) 11、修改/etc/init.d 目录下的zabbix_server 和zabbix_agentd 启动文件(配置 server和agent) (12) 12、通过web 站点配置zabbix (14) 二、Zabbix 监控机配置 (19) 1. 登录 (20) 2. 添加主机(Hosts) (21) 3. 创建模板 (27) 4.添加告警动作(Actions) (30) 5.添加告警方式(Medias) (30) 6.添加用户(Users) (32) Ⅲ Zabbix配置 (34) 一、Client端配置 (34) 二、zabbix_server.conf 配置文件详解 (35) 三、zabbix_agentd.conf 配置文件详解 (43)

ⅠZabbix简介 一、Zabbix介绍 Zabbix是一个分布式监控系统,支持多种采集方式和采集客户端,有专用的Agent(代理),也支持SNMP、IPMI、JMX、Telnet、SSH等多种协议,它将采集到的数据存放到数据库,然后对其进行分析整理,达到条件触发告警.其灵活的扩展性和丰富的功能是其他监控系统所不能比的。相对来说,它的总体功能做得非常优秀,其界面如图1-1、图1-2。 图1-1

hadoop3安装和配置

hadoop3.0.0安装和配置1.安装环境 硬件:虚拟机 操作系统:Centos 7 64位 IP:192.168.0.101 主机名:dbp JDK:jdk-8u144-linux-x64.tar.gz Hadoop:hadoop-3.0.0-beta1.tar.gz 2.关闭防火墙并配置主机名 [root@dbp]#systemctl stop firewalld #临时关闭防火墙 [root@dbp]#systemctl disable firewalld #关闭防火墙开机自启动 [root@dbp]#hostnamectl set-hostname dbp 同时修改/etc/hosts和/etc/sysconfig/network配置信息 3.配置SSH无密码登陆 [root@dbp]# ssh-keygen -t rsa #直接回车 [root@dbp]# ll ~/.ssh [root@dbp .ssh]# cp id_rsa.pub authorized_keys [root@dbp .ssh]# ssh localhost #验证不需要输入密码即可登录

4.安装JDK 1、准备jdk到指定目录 2、解压 [root@dbp software]# tar–xzvf jdk-8u144-linux-x64.tar.gz [root@dbp software]# mv jdk1.8.0_144/usr/local/jdk #重命名4、设置环境变量 [root@dbp software]# vim ~/.bash_profile 5、使环境变量生效并验证 5.安装Hadoop3.0.0 1、准备hadoop到指定目录 2、解压

datastage常用组件使用方法:

常用组件使用方法: 1. Sequential file 功能特点:适用于一般顺序文件(定长或不定长),可识别文本文件或IBM大机ebcdic文件。 使用要点: 按照命名规范命名 点住文件,双击鼠标,在general说明此文件内容,格式,存储目录等。 2. Annotation 功能特点: 一般用于注释,可利用其背景颜色在job中分颜色区别不同功能块 3. Change Capture Stage 功能特点: Change Capture Stage有两个输入,分别标记为before link 及after link。输出的数据表示before link 和after link的区别,我们称作change set。Change Capture Stage可以和Change Apply Stage配合使用来计算after set。 使用要点: key及value的说明:key值是比较的关键值,value是当key值相同是作进一步比较用的。 change mode选项说明: All keys,Explicit Values 需要指定value,其余字段为key Explicit Keys&Values key及value都需要指定

Explicit Keys,All Values 需要指定key,其余的字段为value 输出策略说明: Drop Output For Copy False:保留before及afte link中key值相同的行 True:删除before及afte link中key值相同的行 Drop Output For Delete False:保留before link中有但是after link中没有的key值所在的行 True:删除before link中有但是afte link中没有的key值所在的行 Drop Output For Edit False:保留key值相同,value不同的行 True:删除key值相同,value不同的行 Drop Output For Insert False:保留before link中没有但afte link中有的key值所在的行 True:删除before link中没有但afte link中有的key值所在的行 4. Copy Stage 功能说明: Copy Stage可以有一个输入,多个输出。他可以在输出时改变字段的顺序,但是不能改变字段类型。 注意: 当只有一个输入及一个输出时最好将Force设置为True,这样可以在Designer里看到运行结束,否

zabbix安装笔记

二.zabbix 服务器的介绍 zabbix(音同z?bix)是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。 zabbix监控服务器由2部分构成,zabbix server与可选组件zabbix agent。 zabbix server可以通过SNMP,zabbix agent,ping,端口监视等方法提供对远程服务器/网络状态的监视,数据收集等功能,它可以运行在Linux,Solaris,HP-UX,AIX,Free BSD,Open BSD,OS X等平台上。 二.基础环境介绍 1.系统:CentOS Linux release 7.1.1503 (Core) 2.编译环境:“Deveolpment Tools” 3.zabbix-Server:ip:192.168.1.125/24(centos7)agent: 192.168.1.128/24 (centos 6.5) 三.Zabbix Server端操作 1.安装zabbix-server 及所需的mysql组件、zabbix-agent [root@test ~]# rpm -ivh https://www.360docs.net/doc/5a6242506.html,/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm [root@test ~]# yum install zabbix-server-mysql zabbix-web-mysql -y [root@test ~]# yum install zabbix-agent -y 2.由于centos 7 默认的数据库改由mariadb里,甲骨文公司收购了MySQL后,mysql之父便又写了这个数据库。此环境由于需要mysql ,所以下面将下载mysql 源,安装mysql。另外mysql安装完,root没有密码,可以直接登陆,后续如果需要修改密码可登陆数据库修改,或者运行 mysql_secure_installation 初始化工具 [root@test ~]# yum install wget -y [root@test ~]# wget https://www.360docs.net/doc/5a6242506.html,/get/mysql-community-release-el7-5.noarch.rpm [root@test ~]# rpm -ivh mysql-community-release-el7-5.noarch.rpm [root@test ~]# yum install mysql-community-server -y [root@test ~]# service mysqld start #或者 systemctl start mysqld.service [root@test ~]# mysql -uroot 创建zabbix 数据库,并授权zabbix用户,以及设置zabbix用户登陆密码为zabbix [root@test ~]# mysql -uroot mysql> create database zabbix character set utf8 collate utf8_bin; mysql> grant all privileges on zabbix.* to zabbix@localhost identified by 'zabbix'; mysql> quit; 进入zabbix数据库脚本导入的目录,将库数据导入zabbix数据库中。

相关文档
最新文档