Linux下iscsi target配置全过程
linux iSCSI target配置全过程
一:Install iSCSI target for Linux
1，操作系统：
[root@rac2 ~]# cat /etc/issue
Enterprise Linux Enterprise Linux AS release 4 (October Update 4)
Kernel r on an m
[root@rac2 /]# uname -a
Linux https://www.360docs.net/doc/6912492609.html, 2.6.9-42.0.0.0.1.ELsmp #1 SMP Sun Oct 15 14:02:40 PDT 2006 i686 i686 i386 GNU/Linux
[root@rac2 /]#
2，解压文件
[root@rac2 ~]# tar -xzvf iscsitarget-0.4.15.tar.gz
3，编译
[root@rac2 ~]# cd iscsitarget-0.4.15
[root@rac2 iscsitarget-0.4.15]# ls
ChangeLog COPYING doc etc include kernel Makefile patches README README.vmware usr
[root@rac2 iscsitarget-0.4.15]# make
Applying Patch compat-2.6.14-2.6.18.patch
patching file kernel/iscsi.h
patching file kernel/digest.c
patching file kernel/file-io.c
。。。
[root@rac2 iscsitarget-0.4.15]# make install
install: creating directory `/lib/modules/2.6.9-42.0.0.0.1.ELsmp/kernel/iscsi' `kernel/iscsi_trgt.ko' -> `/lib/modules/2.6.9-42.0.0.0.1.ELsmp/kernel/iscsi/iscsi_trgt.ko'
depmod -aq
`usr/ietd' -> `/usr/sbin/ietd'
`usr/ietadm' -> `/usr/sbin/ietadm'
`etc/initd/initd.redhat' -> `/etc/init.d/iscsi-target'
`etc/ietd.conf' -> `/etc/ietd.conf'
`etc/initiators.allow' -> `/etc/initiators.allow'
`etc/initiators.deny' -> `/etc/initiators.deny'
`doc/manpages/ietadm.8' -> `/usr/share/man/man8/ietadm.8'
`doc/manpages/ietd.8' -> `/usr/share/man/man8/ietd.8'
`doc/manpages/ietd.conf.5' -> `/usr/share/man/man5/ietd.conf.5'
install: creating directory `/usr/share/doc/iscsitarget'
`ChangeLog' -> `/usr/share/doc/iscsitarget/ChangeLog'
`COPYING' -> `/usr/share/doc/iscsitarget/COPYING'
`README' -> `/usr/share/doc/iscsitarget/README'
`README.vmware' -> `/usr/share/doc/iscsitarget/README.vmware'
[root@rac2 iscsitarget-0.4.15]#
4,配置
[root@rac2 iscsitarget-0.4.15]# vi /etc/ietd.conf
User userid superpassword
Target https://www.360docs.net/doc/6912492609.html,.example:storage.disk2.sys1.xyz
Lun 0 /dev/sdb1 fileio
Alias lun0
5,启动服务
[root@rac2 etc]# cd /etc/init.d
[root@rac2 init.d]# ls
acpid crond halt killall netplugd openibd rhnsd snmpd xfs
anacron cups hidd kudzu network oracleasm rpcgssd snmptrapd xinetd
apmd cups-config-daemon ibmasm lm_sensors NetworkManager pand rpcidmapd spamassassin ypbind
arptables_jf diskdump ipmi mdmonitor nfs pcmcia rpcsvcgssd sshd yum
atd dund iptables mdmpd nfslock portmap rwhod syslog
auditd firstboot irda messagebus nscd psacct saslauthd sysstat
autofs functions irqbalance microcode_ctl ntpd rawdevices sendmail tog-pegasus
bluetooth gpm iscsi-target netdump o2cb readahead single vncserver cpuspeed haldaemon isdn netfs ocfs2 readahead_early smartd winbind
[root@rac2 init.d]# /etc/init.d/iscsi-target start
Starting iSCSI target service: [ OK ]
[root@rac2 init.d]#
6,察看验证
dmesg
iSCSI Enterprise Target Software - version 0.4.15
iotype_init(92) register fileio
iotype_init(92) register blockio
iotype_init(92) register nullio
parse_fileio_params(230) Unknown /dev/sdb1 fileio
fileio_attach(268) -22
[root@rac2 init.d]#
[root@rac2 init.d]# tailf /var/log/messages
Oct 24 09:22:13 rac2 ntpd[2995]: kernel time sync disabled 0041
Oct 24 09:23:16 rac2 ntpd[2995]: kernel time sync enabled 0001
Oct 24 09:24:15 rac2 kernel: iSCSI Enterprise Target Software - version 0.4.15 Oct 24 09:24:15 rac2 kernel: iotype_init(92) register fileio
Oct 24 09:24:15 rac2 kernel: iotype_init(92) register blockio
Oct 24 09:24:15 rac2 kernel: iotype_init(92) register nullio
Oct 24 09:24:15 rac2 iscsi-target: ietd startup succeeded
Oct 24 09:24:15 rac2 kernel: parse_fileio_params(230) Unknown /dev/sdb1 fileio
Oct 24 09:24:15 rac2 kernel: fileio_attach(268) -22
Oct 24 09:24:15 rac2 ietd: Can't create a logical unit 22 1 0 /dev/sdb1 fileio 7,修改配置文件为：
Target https://www.360docs.net/doc/6912492609.html,.example:storage.disk2.sys1.idisk
Lun 4 Path=/dev/sdb1,Type=fileio
Alias sdb
然后启动的时候dmesg信息为：
iSCSI Enterprise Target Software - version 0.4.15
iotype_init(92) register fileio
iotype_init(92) register blockio
iotype_init(92) register nullio
日志信息：
Oct 25 16:31:35 test kernel: iSCSI Enterprise Target Software - version 0.4.15 Oct 25 16:31:35 test kernel: iotype_init(92) register fileio
Oct 25 16:31:35 test kernel: iotype_init(92) register blockio
Oct 25 16:31:35 test kernel: iotype_init(92) register nullio
在这个地方我搞了好久,看大家的文章一直配置文件都是可以如下配置的:
Target https://www.360docs.net/doc/6912492609.html,.example:storage.disk2.sys1.xyz
Lun 0 /dev/sdb1 fileio
Alias Test
但是我的一直不行,我原来是虚拟机,然后重新安装了redhat4u4,还是不行,后来有安装了redhat5,还是不行.
中间我也试过用如下配置文件:
User userid superpassword
Target https://www.360docs.net/doc/6912492609.html,.example:storage.disk2.sys1.xyz
Lun 0 Path=/dev/sdb1, type=fileio
Alias Test
可是还不行,最后发现type开头字母我把它写成小写了.
二，Red Hat linux iSCSI initiator configuration
1，操作系统：
[root@rac1 ~]# cat /etc/issue
Enterprise Linux Enterprise Linux AS release 4 (October Update 4)
Kernel r on an m
[root@rac1 ~]#
2，安装initiator
[root@rac1 ~]# rpm -ivh iscsi-initiator-utils-4.0.3.0-4.i386.rpm
warning: iscsi-initiator-utils-4.0.3.0-4.i386.rpm: V3 DSA signature: NOKEY, key ID db42a60e
Preparing...
########################################### [100%] 1:iscsi-initiator-utils
########################################### [100%] [root@rac1 ~]#
3，修改/etc/iscsid.conf 文件
vi /etc/iscsid.conf
修改下面3项：
DiscoveryAddress=
This needs to be set to the Group IP Address of your UIT Array. SendAsyncText=yes
For the initiator to receive Vendor Specific async events from the target. Continuous=yes
To globally specify that all discovery sessions be kept open.
4，启动服务
[root@rac1 etc]# service iscsi start
Checking iscsi config: [ OK ]
Loading iscsi driver: [ OK ]
mknod: `/dev/iscsictl': File exists
Starting iscsid: [ OK ]
[root@rac1 etc]#
5,设置iscsi服务
[root@rac1 etc]# chkconfig --list iscsi
iscsi 0:off 1:off 2:off 3:off 4:off 5:off 6:off
[root@rac1 etc]# chkconfig --add iscsi
[root@rac1 etc]# chkconfig --add iscsi
[root@rac1 etc]# chkconfig iscsi on
[root@rac1 etc]# chkconfig --list iscsi
iscsi 0:off 1:off 2:on 3:on 4:on 5:on 6:off
6，察看scsi设备
[root@rac1 etc]# iscsi-ls
************************************************************** *****************
SFNet iSCSI Driver Version ...4:0.1.11-3(02-May-2006)
************************************************************** *****************
[root@rac1 etc]#
7, 正常情况下应该是:
[root@rac1 ~]# iscsi-ls
************************************************************** *****************
SFNet iSCSI Driver Version ...4:0.1.11-3(02-May-2006)
************************************************************** *****************
TARGET NAME : https://www.360docs.net/doc/6912492609.html,.example:storage.disk2.sys1.idisk TARGET ALIAS :
HOST ID : 6
BUS ID : 0
TARGET ID : 0
TARGET ADDRESS : 172.25.1.100:3260,1
SESSION STATUS : ESTABLISHED AT Thu Oct 25 00:46:13 CST 2007 SESSION ID : ISID 00023d000001 TSIH 200
************************************************************** *****************
[root@rac1 ~]#
8,通过dmesg可以看到新增加的设备。
Hadoop集群MYSQL的安装指南
前言 本篇主要介绍在大数据应用中比较常用的一款软件Mysql，我相信这款软件不紧紧在大数据分析的时候会用到，现在作为开源系统中的比较优秀的一款关系型开源数据库已经被很多互联网公司所使用，而且现在正慢慢的壮大中。 在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是：1、写程序利用 mapper-Reducer的算法平台进行分析；2、利用Hive组件进行书写Hive SQL进行分析。 第二种方法用到的Hive组件存储元数据最常用的关系型数据库最常用的就是开源的MySQL了，这也是本篇最主要讲解的。 技术准备 VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++ 软件下载 我们需要从Mysql官网上选择相应版本的安装介质，官网地址如下： MySQL下载地址：https://www.360docs.net/doc/6912492609.html,/downloads/
默认进入的页面是企业版，这个是要收费的，这里一般建议选择社区开源版本，土豪公司除外。
然后选择相应的版本，这里我们选择通用的Server版本，点击Download下载按钮，将安装包下载到本地。 下载完成，上传至我们要安装的系统目录。 这里，需要提示下，一般在Linux系统中大型公用的软件安装在/opt目录中，比如上图我已经安装了Sql Server On linux，默认就安装在这个目录中，这里我手动创建了mysql目录。 将我们下载的MySQL安装介质，上传至该目录下。
安装流程 1、首先解压当前压缩包，进入目录 cd /opt/mysql/ tar -xf mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar 这样，我们就完成了这个安装包的解压。 2、创建MySql超级管理用户 这里我们需要单独创建一个mySQL的用户，作为MySQL的超级管理员用户，这里也方便我们以后的管理。 groupaddmysql 添加用户组 useradd -g mysqlmysql 添加用户 id mysql 查看用户信息。
LINUXISCSITarget服务器搭建与windows客户端连接
Linux ISCSI 服务器搭建与客户机ISCSI 连接 ISCSI 简介： iSCSI 技术是一种由IBM 公司研究开发的，是一个供硬件设备使用的可以在IP 协议的上层运行的SCSI 指令集，这种指令集合可以实现在IP 网络上运行SCSI 协议，使其能够在诸如高速千兆以太网上进行路由选择。iSCSI 技术是一种新储存技术，该技术是将现有SCSI 接口与以太网络(Ethernet)技术结合，使服务器可与使用IP 网络的储存装置互相交换资料。 网络拓扑： CentOS 6.3 ISCSI Server Target IP:192.168.2.54 ISCSI Initiator IP:192.168.2.55ISCSI Initator IP:192.168.2.230 实验环境： ISCSI Target: CentOS 6.3 IP:192.168.2.54 ISCSI Initator: CentOS 6.3 IP:192.168.2.55 windows server 2012 IP :192.168.2.230 一． ISCSI Target 的搭建： 1. 在ISCSI target 服务器上添加一块新的硬盘，用于ISCSI Target 存储。
2.创建LVM。在此具体操作略掉。操作结果如下图： 分别为linux iscsi initator，Windows server 2012创建LV.逻辑卷lvlinux和lvwindows ,大小都为2GB的容量。
3.在CentOS上安装iscsi target,在这里我采用YUM的安装方式。 4.修改ISCSI TARGET的配置文件，配置文件为/etc/tgt/targets.conf,使用vim工具修改 配置文件：分别为linux 客户端和windows server 2012客户端建立两个target （linux-target,windows-target），将两个target 关联到之前创建的LV上，并且配置用户名和密码认证（用户名和密码都为test），同时限制只有相应IP地址的客户端才能访问iscsi target.如图： 添加target:
NTP服务器及客户端配置手册
NTP时间同步配置说明 目录 1.1 Linux NTP Server配置 (1) 1.2 AIX系统时间配置 (2) 1.3 Linux系统时间同步配置 (4) 1.4 Windows 2003系统时间同步配置 (5) 1.5 Windows 7 & Windows 2008系统时间同步配置 (9) 1.6 ESXi系统时间同步配置 (14) 1.7 Suse Linux 系统时间同步配置 (16) 1.8 HP-UX NTP配置 (18) 1.1 Linux NTP Server配置 1.检查NTP安装包 #rpm -qa | grep ntp ntp-4.2.6p5-10.el6.x86_64 ntpdate-4.2.6p5-10.el6.x86_64 2.NTP配置文件/etc/ntp.conf #vim /etc/ntp.conf driftfile /var/lib/ntp/drift 例：restrict 11.1.71.0 mask 255.255.255.0 nomodify noquery notrap #设置向11.1.71.1-11.1.71.254段的主机提供NTP同步服务 server 210.72.145.44 #中国国家授时中心IP server [local IP address] prefer #prefer 表示优先使用此地址进行时间同步 Server 127.127.1.0 # local clock #外界同步源不可用时将用本地时间提供时间同步服务fudge 127.127.1.0 stratum 2 #stratum是定义时间服务器层级，0表示为最顶级；如果需要从别的NTP服务器更新时间，请修改为非0 SYNC_HWCLOCK=yes #允许BIOS与系统时间同步，也可以通过hwclock -w命令
Linux 下iSCSI Target和Initiator安装与操作步骤详解
Linux 下iSCSI Target和Initiator安装与操作步骤详解iSCSI Target 编译安装过程 1. 解压：tarzxvf iscsitarget-1.4.18.t ar.gz 2. cd iscsitarget-1.4.18 3. Linux2.6.32的内核太新了最新的iSCSI Target版本1. 4.18还没有支持，网上有高手做 了相应的补丁，于是打上补丁patch -p1 Hadoop全分布式安装配置 一实验目的： 1、了解Hadoop的体系结构、组成； 2、熟练掌握Hadoop的配置、安装方法； 3、通过安装Hadoop了解Hadoop的原理； 二实验内容： 集群包含三个安装了Linux操作系统的节点。将其中的一个节点作为NameNode，另外两个节点作为DataNode，安装之前先利用ping命令，确认三个节点之间的网络互通，即可以互相ping通。假设三个节点IP地址如下，实际的集群节点IP地址可以不同。 NameNode：192.168.198.2 主机名：master DataNode1：192.168.198.3 主机名：slaver1 DataNode2：192.168.198.4 主机名：slaver2 三实验环境： 在申请的虚拟服务器上安装了VMWare Workstation虚拟3个Ubuntu14.04系统。 四安装配置过程： 1、安装Vmware WorkStation软件 下载安装Vmware WorkStation12.0软件。 2、在虚拟机上安装linux操作系统 在Vmware WorkStation12.0中创建一个Ubuntu14.04系统。拷贝镜像文件复制出三个系统。分别为master、slaver1、slaver2。 3、配置hosts、hostname文件 在三台机器上配置相同的hosts文件 （1）修改hosts sudo gedit /etc/hosts 192.168.198.200 master 192.168.198.199 slave1 192.168.198.198 slave2 （2）修改hostname sudo gedit /etc/hostname 4、配置ip地址 配置ip：sudo gedit /etc/network/interfaces slave2 auto eth0 iface eth0 inet static address 192.168.198.198 gateway 192.168.198.107 netmask 255.255.255.0 slave1 auto eth0 iface eth0 inet static address 192.168.198.199 gateway 192.168.198.107 netmask 255.255.255.0 master auto eth0 iface eth0 inet static address 192.168.198.200 gateway 192.168.198.107 netmask 255.255.255.0 安装 不同的操作系统对应各自的iSCSI initiator，以CentOS 6.5为例。 安装方法有两种： 1）直接使用“yum install iscsi*”进行安装； 2）到网上下载 iscsi-initiator-utils-devel-6.2.0.873-10.el6.x86_64 iscsi-initiator-utils-6.2.0.873-10.el6.x86_64 使用“ rpm -ivh iscsi-initiator…”命令进行安装。 安装完成后，启动iscsi守护进程 [root@CentOS1 桌面]#service iscsid start 将iscsid添加到系统启动 [root@CentOS1 桌面]#chkconfig iscsid on [root@CentOS1 桌面]#chkconfig iscsid --list （查看ISCSI启动状态） 挂载iSCSI主要用到的工具叫“iscsiadm”，iscsiadm是基于命令行的iscsi管理工具，提供了对iscsi节点、会话、连接以及发现记录的操作。 iscsiadm的使用说明可以查看sr/share/doc/iscsi-initiator-utils-6.2.0.873/README，也可以运行man iscsiadm 或iscsiadm --help 使用 首先要在存储设备上做好RAID，设置好iSCSI 目标方（target）。由于只是做实验，我就使用了一个开源软件来模拟iSCSI存储设备，软件名称叫openfiler，可以使用虚拟机来安装，详细可以查阅相关的教程。 下面来讲一下连接iscsi设备的步骤： 1）发现目标 默认情况下，iscsi发起方和目标方之间通过端口3260连接。假设已知iscsi的目标方IP是10.10.13.3，运行下列命令： [root@CentOS1 桌面]#iscsiadm -m discovery -t sendtargets -p 10.10.13.3:3260 (若端口是默认端口，IP后面 中国银联电子支付研究院 基于云计算的电子支付和电子商务综合服务平台生产环境NTP主备服务器配置文档 第0.02版 中国银联电子支付研究院 二〇一四年十一月二十五日 版本控制信息 文档安全控制信息 目录 版本控制信息 (1) 1概述 (1) 2NTP主服务器配置 (1) 3NTP备服务器配置 (1) 4NTP客户端配置 (2) 5更新基线文档 (4) 1概述 本文档是生产环境NTP主备服务器配置文档。 生产环境NTP主备服务器基本信息如下： 2 NTP主服务器配置 1.备份ntp服务配置文件 A0309005:~ # cp /etc/ntp.conf /etc/ntp.conf_20130805.bak 2.修改ntp服务配置文件 A0309005:~ # cat /etc/ntp.conf server 144.0.252.7 restrict default kod nomodify notrap nopeer noquery restrict 127.0.0.1 restrict 145.240.0.0 mask 255.255.0.0 nomodify restrict 144.240.0.0 mask 255.255.0.0 nomodify driftfile /var/lib/ntp/drift/ntp.drift logfile /var/log/ntp 3.重启ntp服务 A0309005:~ # service ntp start A0309005:~ # chkconfig ntp on 3 NTP备服务器配置 1.备份ntp服务配置文件 A0309006:~ # cp /etc/ntp.conf /etc/ntp.conf_20130805.bak 2.修改ntp服务配置文件 A0309006:~ # cat /etc/ntp.conf server 144.0.252.7 restrict default kod nomodify notrap nopeer noquery restrict 127.0.0.1 restrict 145.240.0.0 mask 255.255.0.0 nomodify restrict 144.240.0.0 mask 255.255.0.0 nomodify driftfile /var/lib/ntp/drift/ntp.drift 本文为笔者安装配置过程中详细记录的笔记 1．下载hadoop hadoop-2.7.1.tar.gz hadoop-2.7.1-src.tar.gz 64位linux需要重新编译本地库 2．准备环境 Centos6.4 64位，3台 hadoop0 192.168.1.151namenode hadoop1 192.168.1.152 datanode1 Hadoop2 192.168.1.153 datanode2 1）安装虚拟机： vmware WorkStation 10，创建三台虚拟机，创建时，直接建立用户ha,密码111111.同时为root密码。网卡使用桥接方式。 安装盘 、 2). 配置IP.创建完成后，设置IP,可以直接进入桌面，在如下菜单下配置IP,配置好后，PING 确认好用。 3)更改三台机器主机名 切换到root用户，更改主机名。 [ha@hadoop0 ~]$ su - root Password: [root@hadoop0 ~]# hostname hadoop0 [root@hadoop0 ~]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop0 以上两步后重启服务器。三台机器都需要修改。 4）创建hadoop用户 由于在创建虚拟机时，已自动创建，可以省略。否则用命令创建。 5）修改hosts文件 [root@hadoop0 ~]# vi /etc/hosts 127.0.0.1 localhostlocalhost.localdomain localhost4 localhost4.localdomain4 ::1localhostlocalhost.localdomain localhost6 localhost6.localdomain6 192.168.1.151 hadoop0 192.168.1.152 hadoop1 192.168.1.153 hadoop2 此步骤需要三台机器都修改。 3．建立三台机器间，无密码SSH登录。 1）三台机器生成密钥，使用hadoop用户操作 [root@hadoop0 ~]# su– ha [ha@hadoop0 ~]$ ssh -keygen -t rsa 所有选项直接回车，完成。 以上步骤三台机器上都做。 2）在namenode机器上，导入公钥到本机认证文件 [ha@hadoop0 ~]$ cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys 3）将hadoop1和hadoop2打开/home/ha/.ssh/ id_rsa.pub文件中的内容都拷贝到hadoop0的/home/ha /.ssh/authorized_keys文件中。如下： 4）将namenode上的/home/ha /.ssh/authorized_keys文件拷贝到hadoop1和hadoop2的/home/ha/.ssh文件夹下。同时在三台机器上将authorized_keys授予600权限。 [ha@hadoop1 .ssh]$ chmod 600 authorized_keys 5）验证任意两台机器是否可以无密码登录，如下状态说明成功，第一次访问时需要输入密码。此后即不再需要。 [ha@hadoop0 ~]$ ssh hadoop1 Last login: Tue Aug 11 00:58:10 2015 from hadoop2 4．安装JDK1.7 1）下载JDK（32或64位），解压 [ha@hadoop0 tools]$ tar -zxvf jdk-7u67-linux-x64.tar.gz 2）设置环境变量（修改/etx/profile文件）， export JAVA_HOME=/usr/jdk1.7.0_67 export CLASSPATH=:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 3）使环境变量生效，然后验证JDK是否安装成功。 一、确认存储具备iSCSI连接功能。存储上的iSCSI IP地址已配置，iSCSI接口 与服务器网卡已能够通讯。可以在服务器端通ping命令检验。 二、在服务器端检查/安装iSCSI 发起程序（以redhat为例） 检查iscsi发起程序的rpm package是否安装 rpm -qa |grep open-iscsi 在命令行下输入iscsiadm，看是否有此命令 Iscsiadm 安装iscsi发起程序 挂载linux系统安装盘，用rpm –ivh 命令安装open-iscsi包、或者iscsi-initator 包。 三、打开iscsi服务 chkconfig --list open-iscsi chkconfig --level 0123456 open-iscsi vi /etc/iscsi/iscsid.conf 编辑（或确认）是否已禁用node.startup = manual 行。 编辑（或确认）是否已禁用node.startup = automatic行。这将在引导时自动启动该服务。重启后，iscsi存储即为挂载状态。 四、确保iscsi服务已经运行 /etc/init.d/open-iscsi start 五、挂载iscsi存储 发现iscsi目标 iscsiadm -m discovery -t sendtargets -p Linux NTP配置方法 一、配置Linux异构网络下的ntp时间服务器 1. 软件下载安装 以源代码为例 #/tmp/wget https://www.360docs.net/doc/6912492609.html,/ntp_chinese/down/server/ntp-4.2.0.tar.gz # tar -zxvf ntp-4.2.0.tar.gz –C /usr/local/src;cd /usr/local/src/ntp-4.2.0 2. 开始设定参数、编译与安装： #./configure --prefix=/usr/local/ntp --enable-all-clocks --enable-parse-clocks make clean ; make make check make install 安装完成。 注:其实在我们安装Linux系统的时候，已经自带了ntp软件包， 我们可以通过rpm -q ntp命令来查询 例如：[root@Oracle ~]# rpm -q ntp ntp-4.2.0.a.20040617-4.EL4.1 二、理解NTP服务的配置文件 1．NTP软件包的结构和相关命令 NTP服务的配置文件包括四个文件如表2 。 表2 NTP服务的配置文件 与 NTP 及系统时间有关的执行文件包括几个文件如表3 。 q表3 与 NTP 及系统时间有关的执行文件 说明：Linux 时钟类型在分类和设置上却和Windows大相径庭。和Windows不同的是，Linux将时钟分为系统时钟(System Clock)和硬件(Real Time Clock，简称RTC)时钟两种。系统时间是指当前Linux Kernel中的时钟，而硬件时钟则是主板上由电池供电的那个主板硬件时钟，这个时钟可以在BIOS的“Standard BIOS Feture”项中进行设置。当Linux启动时，硬件时钟会去读取系统时钟的设置，然后系统时钟就会独立于硬件运作。 2．理解NTP服务端的设置文件/etc/ntp.conf 关于权限设定部分 权限的设定主要以 restrict 这个参数来设定，格式如下： hadoop3.0.0安装和配置1.安装环境 硬件：虚拟机 操作系统：Centos 7 64位 IP：192.168.0.101 主机名：dbp JDK：jdk-8u144-linux-x64.tar.gz Hadoop：hadoop-3.0.0-beta1.tar.gz 2.关闭防火墙并配置主机名 [root@dbp]#systemctl stop firewalld #临时关闭防火墙 [root@dbp]#systemctl disable firewalld #关闭防火墙开机自启动 [root@dbp]#hostnamectl set-hostname dbp 同时修改/etc/hosts和/etc/sysconfig/network配置信息 3.配置SSH无密码登陆 [root@dbp]# ssh-keygen -t rsa #直接回车 [root@dbp]# ll ~/.ssh [root@dbp .ssh]# cp id_rsa.pub authorized_keys [root@dbp .ssh]# ssh localhost #验证不需要输入密码即可登录 4.安装JDK 1、准备jdk到指定目录 2、解压 [root@dbp software]# tar–xzvf jdk-8u144-linux-x64.tar.gz [root@dbp software]# mv jdk1.8.0_144/usr/local/jdk #重命名4、设置环境变量 [root@dbp software]# vim ~/.bash_profile 5、使环境变量生效并验证 5.安装Hadoop3.0.0 1、准备hadoop到指定目录 2、解压 1.1 连接ISCSI Iscsi包：iscsi-initiator-utils-6.2.0.742-0.5.el5.i386.rpm（Open-iSCS提供https://www.360docs.net/doc/6912492609.html,/） 1.1.1 安装rpm包Linux心得https://www.360docs.net/doc/6912492609.html, 将iscsi包cp到本地盘，并在该包所在的目录下运行命令 运行此命令后，会生成一个目录/etc/iscsi,该目录下有两个文件： Initiatorname.iscsi和iscsid.conf 1.1.2 启动ISCSI服务 安装完iscsi服务默认是关闭的，需要手工启动，并将iscsi服务设置成系统启动时启动 1.1.3 搜寻盘阵Linux学习https://www.360docs.net/doc/6912492609.html, 运行以下命令搜寻target，即目标端：7612i存储 以上IP即是7612i的iscsi口的IP,其它固定。 1.1.4 显示盘阵 显示存储端target name 显示结果与在7612i串口iscsi m a nagement→iscsi node名字相同 1.1.5 登陆盘阵 target登陆 其中targetnam e即是步骤4中结果。（注：横杆是中杠） （注：3，4，5实施中是在/etc/iscsi下运行，是否可以在别的路径执行，可自行测试。以上3个命令格式是从man iscsiad m查出） 1.1.6 设置自动启动盘阵服务 经过以上几步，fdisk –l就可以看到所挂接分区了，为确保重启后也能看到，再修改一下/etc/iscsi/iscsid.conf,将第5步的命令iscsiadm --m ode node --targetnam e targetnam e --portal 192.168.1.221:3260 --login 添加到该文件中的开始部分 ***************** # Startup settings #***************** 这个栏下面即可。 其实这个文件大多数内容处于被注释状态，该命令添加位置应该影响不大.然后重启电脑后直接fdisk –l 依然可以看到所挂接的分区。至此iscsi所有操作完成,但挂载的分区不是linux 所识别，必须使用FDISK进行磁盘分区。 1.2 设置分区 NTP SERVER和CLIENT配置 1NTPSERVER配置 1.1.Windows下配置NTP SERVER 环境：WindowsServer 2012 R2 【运行】-【regedit】打开注册表 1)修改 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Tim e\TimeProviders\NtpServer的Enabled的值为1 2)修改 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Tim e\Config的"AnnounceFlags"值为【5】 3)修改 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Tim e\Config的MaxNegPhaseCorrection值为【ffffffff】,十六进制。 4)修改 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Tim e\Config的 MaxPosPhaseCorrection值为【ffffffff】,十六进制。 5)修改 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Tim e\Config的 UpdateInterval值为【a】,十六进制。 6)修改 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services\W32Time \Config\LocalClockDispersion 的值为【0】。， 7)【gpedit.msc】打开组策略编辑器，依次展开【计算机配置】-【管理模板】 Hadoop安装简要过程及配置文件 1、机器准备 ①、Linux版操作系统centos 6.x ②、修改主机名，方便配置过程中记忆。修改文件为： /etc/sysconfig/network 修改其中的HOSTNAME即可 ③、配置局域网内，主机名与对应ip，并且其中集群中所有的机器的文件相同，修改文件为 /etc/hosts 格式为： 10.1.20.241 namenode 10.1.20.242 datanode1 10.1.20.243 datanode2 2、环境准备 ①、配置ssh免密码登陆，将集群中master节点生成ssh密码文件。具体方法： 1）、ssh-keygen -t rsa 一直回车即可,将会生成一份 ~/.ssh/ 文件夹，其中id_rsa为私钥文件 id_rsa.pub公钥文件。 2）、将公钥文件追加到authorized_keys中然后再上传到其他slave节点上 追加文件： cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 上传文件： scp ~/.ssh/authorized_keys root@dananode:~/.ssh/ 3）、测试是否可以免密码登陆：ssh 主机名或局域网ip ②、配置JDK ③、创建hadoop用户 groupadd hadoop useradd hadoop -g hadoop 4)、同步时间 ntpdate https://www.360docs.net/doc/6912492609.html, 5）、关闭防火墙 service iptables stop 3、安装cdh5 进入目录/data/tools/ (个人习惯的软件存储目录，你可以自己随便选择)； wget "https://www.360docs.net/doc/6912492609.html,/cdh5/one-click-install/redhat/ 6/x86_64/cloudera-cdh-5-0.x86_64.rpm" yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm 添加cloudera仓库验证： rpm --importhttps://www.360docs.net/doc/6912492609.html,/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera NTP时间服务器学习笔记 引言 NTP时间服务器就是提供时间授权（对时）的服务器，它可以用Linux或Windows系统来架设。总来说NTP时间服务器理解和配置都相对简单，我们只在此提醒一点NTP通信端口采用udp的123端口。以下我们以Windows 2008/Redaht5.4作为时间服务器为服务端，Linux和Windows系统为客户端来学习一下。 服务端 Windows NTP服务器 默认情况下，独立服务器WINDOWS SERVER 2008是作为NTP客户端工作的，所以必须通过修改注册表，以使系统作为NTP服务器运行。工作之前请先备份注册表文件。 1、修改以下选项的键值 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpServe r内的[Enabled]设定为1。打开NTP服务器功能（默认是不开启NTP Server服务，除非电脑升级成为域控制站）。 2、修改以下键值 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\Config\AnnounceFlags 设定为5．该设定强制主机将它自身宣布为可靠的时间源，从而使用内置的互补金属氧化物半导体(CMOS) 时钟。如果要采用外面的时间服务器就用默认的a值即可． # 210.72.145.44 (国家授时中心服务器IP地址) 3、修改以下键值 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\Parameters\Type内的[Type]设定为NTP。 4、重启Win32Time服务：先关闭windows time 服务，再开启该服务。可以在“管理工具”的“服务”界面下完成，也可以以DOS 方式输入“net stop w32time”、“net start w32time”。至此，已完成服务器端设定． 注意： 1）通讯端口：123 必须打开 2）Windows Time服务设置为"自动"模式，以便重启系统后，继续提供时间授权。 3）时区不能进行同步，时区是在安装系统时选择或者配置修改。 命令行模式下启动服务: net stop w32time 停止服务/ net start w32time 启动服务 Hadoop的安装与配置及示例程序 wordcount的运行 目录 前言 (1) 1 机器配置说明 (2) 2 查看机器间是否能相互通信（使用ping命令） (2) 3 ssh设置及关闭防火墙 (2) 1）fedora装好后默认启动sshd服务，如果不确定的话可以查一下[garon@hzau01 ~]$ service sshd status (3) 2）关闭防火墙（NameNode和DataNode都必须关闭） (3) 4 安装jdk1.6(集群中机子都一样) (3) 5 安装hadoop(集群中机子都一样) (4) 6 配置hadoop (4) 1）配置JA V A环境 (4) 2）配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件 (5) 3）将NameNode上完整的hadoop拷贝到DataNode上，可先将其进行压缩后直接scp 过去或是用盘拷贝过去 (7) 4）配置NameNode上的conf/masters和conf/slaves (7) 7 运行hadoop (7) 1）格式化文件系统 (7) 2）启动hadoop (7) 3）用jps命令查看进程，NameNode上的结果如下： (8) 4）查看集群状态 (8) 8 运行Wordcount.java程序 (8) 1）先在本地磁盘上建立两个文件f1和f2 (8) 2）在hdfs上建立一个input目录 (9) 3）将f1和f2拷贝到hdfs的input目录下 (9) 4）查看hdfs上有没有f1,f2 (9) 5)执行wordcount（确保hdfs上没有output目录） (9) 6）运行完成，查看结果 (9) 前言 最近在学习Hadoop，文章只是记录我的学习过程，难免有不足甚至是错误之处，请大家谅解并指正！Hadoop版本是最新发布的Hadoop-0.21.0版本，其中一些Hadoop命令已发生变化，为方便以后学习，这里均采用最新命令。具体安装及配置过程如下： 设置NTP时间服务器的方法 NTP服务器设置： 1.打开注册表，找到下面的注册表子项： HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\Parameters，在右窗格中，双击项“Type”，修改“数值数据”为NTP，然后单击“确定”。 2.修改以下选项的键 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpServer，修改项「Enabled」设定为1，打开NTP服务器功能。（默认是不开启NTP Server服务，除非计算机升级成为域控制站） 3.修改以下键值 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\Config，修改项AnnounceFlags的数据为5,该设定强制主机将它自身宣布为可靠的时间源，从而使用内置的互补金属氧化物半导体(CMOS)时钟。该设定强制主机将它自身宣告为可靠的时间源，从而运用内置的互补金属氧化物半导体 (CMOS) 时钟。假如要采用外面的时间服务器，就用默认的 a 值即可． 4、在dos命令行，启动以下服务： w32time 需要管理员权限，改完重启机器 windows time 其他：如果该服务器和internet连接，那么为了避免服务器和internet上的ntp同步，最好追加以下配置： HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpClient的「enable」设定为0，以防止作为客户端自动同步外界的时间服务。 客户端配置： 1. 修改注册表HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpClient，项「enable」设定为1，以便作为客户端自动同步外界的时间服务。项SpecialPollInterval的值修改成十进制43200（单位为秒，43200为12小时，该值为更新时间间隔） 2. 修改默认更新服务器 进入“日期和时间”窗口，点击“Internet时间”，进入“Internet时间设置”页面，勾选“与Internet时间服务器同步”，并输入目标服务器的IP或域名，点击“确定”保存。 3. 重启Windows Time服务 一、存储端的设置。 初始ip地址：192.168.128.101（控制器A）192.168.128.102（控制器B） 用户名密码：admin/Admin@storage 1.做好RAID，划分好LUN。做好热备盘。顺序读写磁盘选择64kb分条，随机读写磁 盘选择32kb。控制器选择一般均匀分布。 2.添加主机端口访问IP，根据网线插入的端口给访问端口添加IP，一般每个控制器接 入一个访问IP。H4口是管理口，H0-H3是主机访问端口。H5是维护网口。 3.添加主机组，或者使用默认主机组。 4.添加主机，LUN卷要分给多少主机，就必须添加多少个主机。 5．添加映射，可以添加给主机组和主机，作为主机作为集群应用时才把LUN映射给主机组。选择主机右键添加lun映射。 选择要添加的LUN。 二、服务器端设置 1、在linux机器上 rpm -qa |grep iscsi yum –y install iscsi* rpm -qa |grep iscsi iscsi-initiator-utils-6.2.0.872-41.el6.x86_64 已经安装了，所有就不用在安装！！！ 如果没有就需要安装 安装iscsi-initiators yum -y install iscsi-initiator-utils* 4.2 启动服务，并让其下次开机生效 service iscsi start; chkconfig iscsi on chkconfig --list iscsi iscsi 0:off 1:off 2:on 3:on 4:on 5:on 6:off 2、配置服务器ip地址和存储器的访问口ip同一网段。 #ifconfig eth0 ipadd netmask 3、配置服务器端iSCSi启动器。 #vi /etc/iscsi/initiatorname.iscsi InitiatorName=initiator002 #initiator002是服务器端提交给存储的启动器名。 #iscsiadm –m discovery –t st -p 10.0.0.0.11 #发现ip地址为10.0.0.11的存储器。 #iscsiadm –m node –p 10.0.0.11 -l #登录目标存储。 #vi /etc/iscsi/iscsid.conf 输入：node.startup=automatic #重新启动后自动建立连接 #etc/init.d/iscsi restart #重启服务 #iscsiadm –m node #查询已经登录的目标存储 三、存储器端添加启动器到主机。 选择启动器，右键添加到主机。 Hadoop2.0安装手册目录 第1章安装VMWare Workstation 10 (4) 第2章VMware 10安装CentOS 6 (10) 2.1 CentOS系统安装 (10) 2.2 安装中的关键问题 (13) 2.3 克隆HadoopSlave (17) 2.4 windows中安装SSH Secure Shell Client传输软件 (19) 第3章CentOS 6安装Hadoop (23) 3.1 启动两台虚拟客户机 (23) 3.2 Linux系统配置 (24) 3.2.1软件包和数据包说明 (25) 3.2.2配置时钟同步 (25) 3.2.3配置主机名 (26) 3.2.5使用setup 命令配置网络环境 (27) 3.2.6关闭防火墙 (29) 3.2.7配置hosts列表 (30) 3.2.8安装JDK (31) 3.2.9免密钥登录配置 (32) 3.3 Hadoop配置部署 (34) 3.3.1 Hadoop安装包解压 (34) 3.3.2配置环境变量hadoop-env.sh (34) 3.3.3配置环境变量yarn-env.sh (35) 3.3.4配置核心组件core-site.xml (35) 3.3.5配置文件系统hdfs-site.xml (35) 3.3.6配置文件系统yarn-site.xml (36) 3.3.7配置计算框架mapred-site.xml (37) 3.3.8 在master节点配置slaves文件 (37) 3.3.9 复制到从节点 (37) 3.4 启动Hadoop集群 (37) 3.4.1 配置Hadoop启动的系统环境变量 (38) 3.4.2 创建数据目录 (38) 3.4.3启动Hadoop集群 (38) 第4章安装部署Hive (44) 4.1 解压并安装Hive (44) 4.2 安装配置MySQL (45) 4.3 配置Hive (45) 4.4 启动并验证Hive安装 (46) 第5章安装部署HBase (49) 5.1 解压并安装HBase (49) 5.2 配置HBase (50) 5.2.1 修改环境变量hbase-env.sh (50) 5.2.2 修改配置文件hbase-site.xml (50) 5.2.3 设置regionservers (51)Hadoop全分布式安装配置
Linux 挂载 iSCSI 存储
生产环境NTP主备服务器配置文档
hadoop集群完整配置过程详细笔记
Linux服务器连接iSCSI存储配置文档
linux_NTP配置方法
hadoop3安装和配置
linux_配置ISCSI客户端(LINUX)
NTP服务器和客户端搭建
hadoop安装简要过程和相关配置文件
NTP时间服务器配置
Hadoop的安装与配置及示例wordcount的运行
设置NTP时间服务器的方法
linux下连接iscsi存储
Hadoop安装手册_Hadoop2.0-v1.6