采集服务端部署文档

采集服务端部署文档
采集服务端部署文档

福建汇兴智能化科技有限公司

监控平台产品部署文档

(第九册)

采集服务端Mina

部署文档

版本历史

引言

此文档适用于为服务器部署mina采集服务端。

1、将工程打包,等待上传

1.1、打包mina采集服务端

1.打开MyEclipse,选中工程文件,右击->Export,如下图所示:

点击Export,弹出窗口如下图所示:

2.选择“Runnable JAR file”,点击Next,页面跳转到如下图所示:

3.第一栏“Launch configuration”的下拉框中选择“ServerMain –mina_iec8705”选项。

点击第二栏的样式按钮,选择打包文件的存放路径和打包文

件的名称,如本次存放地址为桌面,文件名称为“mina_iec8705_bh.jar”。操作结果如下图所示:

其余选择默认,点击“Finish”,进入等待确认打包界面,如下图所示:

确认完毕后,点击OK,开始打包工程文件:

4.等待工程文件打包,打包等待界面如下图所示:

打包完成后,弹出完成提醒框,点击OK,完成打包,如下图所示:

5.打开电脑桌面,找到已打包好的工程文件包,如下图所示:

2、上传mina包,准备部署

2.1、将mina包上传

打开SecureCRT,连接服务器。

(如果当前用户不是root用户,请使用切换命令,将用户切换到root用户下)。

$ su root //切换到root用户下

将路径转到/usr下,并且新建一个用于存放mina包的文件夹# cd /usr //转到home目录下

#mkdir TIP //新建TIP文件夹

# cd TIP //转到TIP目录下

再在TIP文件夹里新建一个bin文件夹:

# mkdir bin //新建bin文件夹

# cd bin //进入bin文件

# rz //上传mina包

用rz命令上传mina包,操作如下图所示:

上传成功后,开始编写mina启动脚本。

2.2、编写mina启动脚本startup

在bin目录下新建一个startup.sh脚本文件,运行该脚本,可实现启动mina 采集服务端服务。

在SecureCRT中继续输入以下命令:

# touch startup.sh //新建启动脚本

# vi startup.sh //修改脚本内容

进入startup.sh脚本,敲一下键盘上的“i”键,进入“INSTER”编辑模式,将以下内容拷贝进脚本中:

#This is the TIP's start up entrance. //该段为脚本注释

export JA V A_HOME=/opt/java/jdk1.6.0_38

export JA V A_BIN=/opt/java/jdk1.6.0_38/bin

export PATH=$JA V A_HOME/bin:$PATH

export

CLASSPATH=.:$JA V A_HOME/lib/dt.jar:$JA V A_HOME/lib/

tools.jar

export JA V A_HOME JA V A_BIN PATH CLASSPATH

set JA V A_OPTS_MAX=-Xmx1024m

set JA V A_OPTS_MIN=-Xms512m

echo " mina_iec8705_bh.jar is starting......." //用于显示文本信息java -jar /home/TIP/bin/mina_iec8705_bh.jar &

echo " mina_iec8705_bh.jar completed successfully" //显示文本

编辑完毕后,按一下“ESC”键退出编辑,输入“:wq!”保存编辑并退出。脚本内容如下图所示:

当启动脚本编写完毕后,要赋予该脚本可执行权限,继续输入以下命令行:

# chmod 777 startup.sh //赋予脚本可执行权限

操作完毕后,执行该脚本:

# ./startup.sh //执行启动脚本

执行成功后,采集服务端已成功启动。如下图所示:

2.3、mina服务开机自启动

为避免每次都要手动开启的麻烦,可将启动程序写入系统启动脚本中,实现mina的开机自启动。

修改/etc/rc.d/rc.local文件:

# vi /etc/rc.d/rc.local //修改rc.local文件

将一下内容拷贝到文本里面:

/usr/local/TIP /bin/startup.sh

结果如下图所示:

编写完毕后,输入reboot命令重启系统。启动完成后,查看进程中mina服务是否已开启。

# reboot //重启系统

# ps -ef |grep mina //查看mina进程

如下图所示,表示mina已成功启动。若无出现,请重新检查以上步骤。

3、部署完成

至此,采集服务端的部署已成功完成。

大数据平台项目方案说明

大数据平台建设方案 (项目需求与技术方案) 一、项目背景 “十三五”期间,随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌,信息化应用进入一个“新常态”。***(某政府部门)为积极应对“互联网+”和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求,大数据平台应运而生。 大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务能力,及时准确掌握社会经济发展情况,做到“用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析,实现企业信用社会化监督,建立规范化共建共享投资项目管理体系,推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发

展。 1、制定统一信息资源管理规范,拓宽数据获取渠道,整合业务信息系统数据、企业单位数据和互联网抓取数据,构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性,编制数据资源目录,建立信息资源交换管理标准体系,在业务可行性的基础上,实现数据信息共享,推进信息公开,建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上,为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点,以大数据应用为核心,坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”的原则,全面提升信息化建设水平,促进全省经济持续健康发展。

系统部署文档

系统部署

部署resin服务(posadm) 以posadm用户登录系统,执行 cd /home/posadm/resin/bin,进入该目录,执行以下命令,启动resin服务: ./resin.sh start 结果如下图: 进入到/home/posadm/resin-pro-4.0.25/log中,查看jvm-app-0.log文件,查看是否启动成功,在文件的最后,显示如下: 说明启动成功。 部署tdshome服务(posadm) 以posadm用户登录系统,执行 cd /home/posadm/tdshome,进入该目录 执行以下命令,启动tdshome服务: ./startTDS.sh 启动后,进入/home/posadm/tdshome/trc/sys目录,查看sys.trc文件,查看是否启动成功,在文件的最后,显示如下: 说明启动成功。 启动数据库服务 1、启动数据库监听:su– oracle(切换oracle用户)lsnrctl start(启动监听)

2、连接数据库: sqlplus / as sysdba (dba权限连接数据库) 3、启动数据库:SQL>startup 启动SVN服务: 用root用户登录测试系统,执行以下命令: svnserve -d -r /opt/svndata/repos/ 禅道管理 启动禅道服务:用root用户登录系统,进入到禅道目录:cd /opt/lampp,执行./stop命令停止禅道服务,执行./start启动禅道服务。如下图: Husdon管理 启动/停止Husdon服务:以线下系统为例,用posadm用户登录系统,进入Husdon目录,执行./ stophudson.sh命令停止Husdon服务,执行./ starthudson.sh启动Husdon服务。 线上系统用qrtpay用户登录,操作与线下系统一致。 ftp服务启动 Root权限

大数据平台-kerberos安装部署文档

1.环境准备 1.1.操作系统 本次安装部署要求在操作系统为CentOS release 6.5 (Final)的版本下进行部署,所以在安装部署kerberos之前请先确保操作系统为以上版本,并且集群中各机器已 做时钟同步。 本次安装部署以csdm-hadoop-04作为主kdc服务器,以csdm-hadoop-05作为从kdc服务器,以csdm-hadoop-03作为客户端。一般不建议在服务器上再安装其 他应用程序,比如hadoop。但为了节省资源本次安装在这三台机器均已安装hadoop 相关软件。 1.2.创建操作用户 创建操作系统hdfs、yarn、mapred用户,并使其归属于hadoop用户组: adduserhdfs-g Hadoop adduser yarn -g Hadoop addusermapred-g Hadoop 1.3.配置hosts文件 为各台机器修改/etc/hosts文件,将真实ip与主机名对应配置,服务端与客户 端均需配置,形如:(不能存在127.0.0.1的配置,否则hadoop进行kerberos验 证时将会出错) 1.4.关闭防火墙 执行以下命令关闭防火墙: serviceiptables stop 出现以下界面表示关闭成功 1.5.注册服务与端口的对应 在/etc/service文件最后增加以下信息,以便后续使用: krb5_prop 754/tcp # Kerberos slave propagation 2.安装配置Kerberos 2.1.安装rpm包 以root用户登录并创建目录存放安装包: mkdir /var/kerberos

系统部署方案模板

《系统部署方案》模板 写作要点: 1.1基本环境需求列表:描述基本环境对软硬件及网络的需求,必须列出名称和版本号信息。可以使用下表 2.机器名及软件需求:描述每一类型的物理机/虚拟机上所需要的特殊的软件需求,必须包含名称和版本号。可以使用下表,两个表中的机器名必须完全一致。

3.网络需求:描述每一类型的物理机/虚拟机如何连接到网络中,必须绘制网络拓扑图,并使用文字对图进行解释和说明,必须提到IP的选择和配置。 4.3基本环境配置:描述每一款软件/服务是如何安装的。要注意:本节所介绍的所有软件必须和基本环境需求列表中的软件一致,每一种软件的安装为一个小节,每一个安装的步骤必须有截图和相应的文字说明,比如: 双击安装包中安装文件“”图标,单击“接受”按钮,进入“自定义安装”界面,在此界面中单击“更改”按钮,在弹出的对话框中输入“D:\dev\kit\jdk”更改安装路径。 5.4专用环境配置:描述每一款特有软件/服务是如何安装配置的。要注意:本节所介绍的所有软件必须和专有环境需求列表中的软件一致,每一种软件的安装为一个小节,每一个安装的步骤必须有截图和相应的文字说明。 6.基本环境:描述基本环境配置中会存在的或值得注意的问题及解决方案。安装问题包括安装软件和环境配置的问题;操作系统问题包括任何跟操作系统相关的问题;工具问题包括任何跟工具使用方面有关的问题。使用下表 7.专用环境:描述专用环境配置中会存在的或值得注意的问题及解决方案。每一个问题一个小节,可以使用中的表。 8.现存的问题:描述本文中记录的内容和实际行为不一致的地方。要注意:这些问题都是可以准确定位的,但是目前还没有得到修复。 9.6参考资料:描述一些基本的配置信息,比如操作系统安装。可以以附件的形式添加到这一节。 10.7文档历史:使用下表

ClouderaManager大数据平台部署指南

部署指南 Cloudera Manager CDH 官方共给出了3中安装方式。第一种方法必须要求所有机器都能连网,由于各种网络超时错误,基本没法用。第二种方法使用CM的在线yum源,在线下载很多包,同样是超时严重。第三种方法是全离线方式,实际情况是也只能用这个。 1、Cloudera Manager的部署条件 ?CDH不支持在容器中部署。 ?支持Oracle JDK7,目前可使用的最新版本为1.7u80,C5.3.x及以上版本也支持使用oracle JDK8,同一个CDH集群中的所有节点使用的JDK版本必须一致。 ?使用Python2.4及以上,不支持Python3 ?仅支持IPv4,且IPv6必须要disabled ?基于tar压缩包的离线安装方式,会在6.0.0中停止支持该方式。 ?支持selinux,但如果不熟悉使用方法,建议关闭。 ?管理端口为7180,此外还有很多基础应用使用的端口,可以运行iptables,需要确认有恰当的授权控制,例如至少要对同网段的访问放开全部端口。 2、Cloudera Manager部署的几个阶段和可选择的方式

注:因为Cloudera Manager的官方yum源位于国外,受网速影响而无法正常使用。所以上述部署方式中,一般是使用PATH C,或者在预先下载好相关RPM包的条件下参照PATH B方式。 3、主机节点信息和基础配置 (1)主机信息 本次部署使用以下主机,前两个作为NameNode使用。后四个主机,分别额外挂载一块1TB的磁盘到本地的/dfs/dn目录下。 注1:用于大数据平台的数据磁盘不要配置RAID,直接祼盘即可。如果有RAID 控制器,则直接对每块盘设置一个单独的RAID0,仍然当作单盘使用。 注2:在有第二块数据盘的情况下,继续挂载到/dfs/dn2,更多的数据盘则按命名规则和挂盘规则扩展即可。 注3:对于生产环境而言,NameNode所在的节点一般不要同时做数据节点使用。而且NameNode所在主机的磁盘需要配置适当的RAID保护级别,以提高可靠性。

系统安装部署手册模板

。 中国太平洋保险(集团)股份有限公司Xxxxxxxxxxx项目 系统安装部署手册 V1.0 项目经理: 通讯地址: 电话: 传真: 电子邮件:

文档信息 1引言 (3) 1.1编写目的 (3) 1.2系统背景 (3) 1.3定义 (3) 1.4参考资料 (3) 2硬件环境部署 (3) 2.1硬件拓扑图 (3) 2.2硬件配置说明 (3) 3软件环境部署 (3) 3.1软件环境清单 (3) 3.2软件环境部署顺序 (3) 3.3操作系统安装 (4) 3.4数据库安装 (4) 3.5应用级服务器安装 (4) 3.6其他支撑系统安装 (4) 4应用系统安装与配置 (4) 4.1应用系统结构图 (4) 4.2安装准备 (4) 4.3安装步骤 (4) 4.4系统配置 (5) 5系统初始化与确认 (5) 5.1系统初始化 (5) 5.2系统部署确认 (5) 6回退到老系统 (5) 6.1配置回退 (5) 6.2应用回退 (5) 6.3系统回退 (5) 6.4数据库回退 (5) 7出错处理 (5) 7.1出错信息 (5) 7.2补救措施 (5) 7.3系统维护设计......................................................... 错误!未定义书签。

1 引言 1.1 编写目的 [说明编写系统安装部署手册的目的] 1.2 系统背景 [ a . 说明本系统是一个全新系统还是在老系统上的升级; b . 列出本系统的使用单位/部门、使用人员及数量。] 1.3 定义 [列出本文件中用到的专门术语的定义和缩写词的原词组。] 1.4 参考资料 [列出安装部署过程要用到的参考资料,如: a . 本项目的完整技术方案; b . 系统运维手册; c . 其他与安装部署过程有关的材料,如:工具软件的安装手册] 2 硬件环境部署 2.1 硬件拓扑图 [列出本系统的硬件拓扑结构,如服务器、网络、客户端等。] 2.2 硬件配置说明 [列出每一台硬件设备的详细配置,如品牌、型号、CPU 数量、内存容量、硬盘容量、网卡、带宽、IP 址址、使用、应部署哪些软件等等] 3 软件环境部署 3.1 软件清单 [列出需要用到哪些软件,包括操作系统软件、数据库软件、应用服务器软件和其他支撑系统软件等,要列明每个软件的全称、版本号、适用操作系统、LICENSE 数量等] 3.2 软件环境部署顺序 [列出每一台硬件上的软件安装顺序,如果不同硬件间的软件安装顺序存有依赖关系,也要在备注中列出,

系统安装部署指南项目实施手册

系统安装部署指南 一、软硬件配置参数要求 1、服务器端配置参数 为了使软件正常顺利的安装和运行,推荐以下配置 1)服务器硬件推荐配置 CPU:双核以上配置; 内存:2G以上; 硬盘:160G以上; 网卡:100M或1000M以太网; 2)软件推荐配置 操作系统:Windows 2003 Server 企业版,打Sp2补丁; 组件:安装组件IIS服务; 杀毒软件:360、瑞星等均可; 3)相关端口 保证网络畅通,开放1433端口和80端口; 2、客户端(网上阅卷端)配置参数 1) 阅卷PC机最低配置要求 CPU: 奔腾Ⅲ800 以上配置; 硬盘:20G 以上; 内存:256M 以上; 网卡:100M或1000M 以太网; 2) 浏览器:IE8或以上版本; 3) 保证在一个局域网内,能够正常连接到服务器。

二、系统安装前的准备工作 1) 检查服务器硬件是否符合要求,检查服务器的操作系统是否为Windows Server 2003 Enterprise Edition 并打上sp2 补丁,检查是否已安装杀毒软件, 测试相应端口是否已打开、网络是否畅通。 2) 检查是否安装了IIS(若没有安装需首先安装IIS)。 3) 设置服务器操作系统登录密码。 4) 新建共享文件夹PIC ,在属性---共享----权限中对该文件夹添加administrator 或当前登录账户并赋予该用户完全控制、更改、读取的权限。

5) 设置服务器IP 地址。

三、系统安装 1、安装framework 1) 安装软件(按系统默认设置即可)。 2) 运用 IIS注册工具进行注册。 运行windows →→ Framework → .*** →–i 运行windows →→ Framework → .*** →–ir –enable

系统安装部署手册模板

中国太平洋保险(集团)股份有限公司Xxxxxxxxxxx项目 系统安装部署手册 V1.0 项目经理: 通讯地址: 电话: 传真: 电子邮件:

文档信息 目录 1引言 (3) 1.1编写目的 (3) 1.2系统背景 (3) 1.3定义 (3) 1.4参考资料 (3) 2硬件环境部署 (3) 2.1硬件拓扑图 (3) 2.2硬件配置说明 (3) 3软件环境部署 (3) 3.1软件环境清单 (3) 3.2软件环境部署顺序 (3) 3.3操作系统安装 (4) 3.4数据库安装 (4) 3.5应用级服务器安装 (4) 3.6其他支撑系统安装 (4) 4应用系统安装与配置 (4) 4.1应用系统结构图 (4) 4.2安装准备 (4) 4.3安装步骤 (4) 4.4系统配置 (5) 5系统初始化与确认 (5) 5.1系统初始化 (5) 5.2系统部署确认 (5) 6回退到老系统 (5) 6.1配置回退 (5) 6.2应用回退 (5) 6.3系统回退 (5) 6.4数据库回退 (5) 7出错处理 (5) 7.1出错信息 (5) 7.2补救措施 (5) 7.3系统维护设计................................................................................................................................. 错误!未定义书签。

1 引言 1.1 编写目的 [说明编写系统安装部署手册的目的] 1.2 系统背景 [ a.说明本系统是一个全新系统还是在老系统上的升级; b.列出本系统的使用单位/部门、使用人员及数量。] 1.3 定义 [列出本文件中用到的专门术语的定义和缩写词的原词组。] 1.4 参考资料 [列出安装部署过程要用到的参考资料,如: a.本项目的完整技术方案; b.系统运维手册; c.其他与安装部署过程有关的材料,如:工具软件的安装手册] 2 硬件环境部署 2.1 硬件拓扑图 [列出本系统的硬件拓扑结构,如服务器、网络、客户端等。] 2.2 硬件配置说明 [列出每一台硬件设备的详细配置,如品牌、型号、CPU数量、内存容量、硬盘容量、网卡、带宽、IP址址、使用、应部署哪些软件等等] 3 软件环境部署 3.1 软件清单 [列出需要用到哪些软件,包括操作系统软件、数据库软件、应用服务器软件和其他支撑系统软件等,要列明每个软件的全称、版本号、适用操作系统、LICENSE数量等] 3.2 软件环境部署顺序 [列出每一台硬件上的软件安装顺序,如果不同硬件间的软件安装顺序存有依赖关系,也要在备注中列出,

大数据平台kerberos安装部署文档

大数据平台-kerberos安装部署文档

————————————————————————————————作者: ————————————————————————————————日期: ?

1.环境准备 1.1.操作系统 本次安装部署要求在操作系统为CentOS release 6.5(Final)的版本下进行部署,所以在安装部署kerberos之前请先确保操作系统为以上版本,并且集群 中各机器已做时钟同步。 本次安装部署以csdm-hadoop-04作为主kdc服务器,以csdm-hadoop-05作为从kdc服务器,以csdm-hadoop-03作为客户端。一般不建议在服务器上再 安装其他应用程序,比如hadoop。但为了节省资源本次安装在这三台机器均已安 装hadoop相关软件。 1.2.创建操作用户 创建操作系统hdfs、yarn、mapred用户,并使其归属于hadoop用户组: adduserhdfs -gHadoop adduseryarn -g Hadoop adduser mapred-gHadoop 1.3.配置hosts文件 为各台机器修改/etc/hosts文件,将真实ip与主机名对应配置,服务端与 客户端均需配置,形如:(不能存在127.0.0.1的配置,否则hadoop进行k erberos验证时将会出错) 1.4.关闭防火墙 执行以下命令关闭防火墙: service iptables stop 出现以下界面表示关闭成功 1.5.注册服务与端口的对应 在/etc/service文件最后增加以下信息,以便后续使用: ?krb5_prop754/tcp # Kerberos slave propagation 2.安装配置Kerberos 2.1.安装rpm包 ?以root用户登录并创建目录存放安装包: mkdir /var/kerberos

系统部署方案

广州金辉肇庆恒大文化旅游城 劳务实名制系统实施方案 一、系统部署方案 1、系统整体架构 系统架构说明及部署要求: 1)软件部署在阿里云,公司、项目终端通过网络获取数据; 2)项目部硬件控制台通过互联网与软件传输数据; 3)现场硬件通过局域网与硬件控制台连接,数据自动上传下载; 二、门区硬件部署方案

1、门区布置说明: 门禁设置位置在正对马路的门楼处,用于施工工人考勤。共设置四台闸机,采用IC卡刷卡考勤,本门区设置液晶屏,用于展示现场刷卡数据以及监控工人刷卡行。 2、硬件清单

三、网络部署要求: 项目各门区之间需架设成局域网,由项目部自行架设,建议架设方案: 由项目部交换机与门禁处交换机通过普通超五类网线连接,以提供广域网网络 1)施工生产区围挡封闭,将生活区与施工区分开,设置进入施工区专用工人通道; 2)现场按部署方案进行建设通道,预留硬件安装位和走线管槽; 3)项目网络带宽不低于2M,通过网线连接不能超过100米; 1、现场现状描述:门禁系统的门区距离项目部大概2公里的距离,地磅安装在门区与项目部中间,目前还没有做场地硬化。 2、建议部署方案 2.1网桥

利:两个路由器组成一个大网络,两个路由器lan(局限网)内的电脑设备可以互访,但是网上邻居访问方式有时不能正常使用;可以针对路由器2上的电脑设备做进一步的权限限制与上网行为管理,方便企业做个性化的网络管理。 弊:两个路由器组成一个大网络,两个路由器lan(局限网)内的电脑设备可以互访,但是网上邻居访问方式有时不能正常使用;可以针对路由器2上的电脑设备做进一步的权限限制与上网行为管理,方便企业做个性化的网络管理。 2.2 光纤 利:传输频带极宽,通信容量很大;由于光纤衰减小,无中继设备,故传输距离远;串扰小,信号传输质量高;光纤抗电磁干扰,保密性好;光纤尺寸小,重量轻,便于传输和铺设;耐化学腐蚀;光纤是石英玻璃拉制成形,原材料来源丰富,并节约了大量有色金属。 弊:光纤弯曲半径不宜过小;光纤的切断和连接操作技术复杂;分路、耦合麻烦。 2.3 无线网卡(推荐) 利:用的方便,随时可以上网,不用网线 弊:网速一般 四、系统实施方案 1.实施工作流程

xx系统部署手册

XXXXXXXXXXXXXXXXX项目 XXXXXX系统 部 署 手 册 作者:xxxxxxx XXXX股份有限公司 XXXX年XX月

目录 一、环境 (3) 1.系统环境: (3) 2.软件环境: (3) 3.硬件环境 (3) 二、系统部署 (3) 1.Jdk安装 (3) 1.1 安装jdk (3) 1.2 jdk环境变量配置 (5) 2.oracle安装 (6) 2.1 oracle安装 (6) 3.apache-tomcat安装 (14) 4.XXXXXXXXXX系统需要修改的地方 (15) 5. 启动、停止Tomcat服务器 (15)

一、环境 1.系统环境: Windows2003 32位 2.软件环境: Java JDK版本:jdk1.6 以上版本 oracle版本:Oracle 11g 或oracle 10g tomcat 版本: tomcat 6.3 3.硬件环境 二、系统部署 1.Jdk安装 1.1 安装jdk 运行下载好的jdk-6u10-beta-windows-i586-p.exe,按提示进行操作。

在设置JDK安装路径时,建议放在C:\jdk1.6或D:\jdk1.6这种没有空格字符的目录文件夹下,避免在以后编译、运行时因文件路径而出错。这里我们将它安装到D:\jdk1.6目录下。 安装好JDK后,会自动安装JRE。这样JDK的安装即完成。

1.2jdk环境变量配置 新建系统变量Classpath和Path,

详细设置如下图所示。 2.oracle安装 2.1 oracle安装 1. 解压缩文件,将两个压缩包一起选择,鼠标右击 -> 解压文件如图 2.两者解压到相同的路径中,如图:

大数据平台安装配置使用手册20160708

大数据平台安装配置使用手册 一、操作系统安装 1、操作系统版本:CentOS 6.5 2、安装注意事项: 1)核查系统配置(CPU、核心数、内存、硬盘大小、系统raid情况),如果系统不是raid0,需重做为 raid0; 2)安装操作系统时需规划好系统的角色和hostname,系统角色划分基本原则是流式计算机器内存和核 心数尽量大,且每台机器之间内存和核心数尽量 保持一致;HBase机器的namenode内存需大一点, datanode机器用来存放数据硬盘空间尽量大; hostname命名基本原则:如2台流式计算机器, 总队命名为xxzd-stream01,xxzd-stream02,支队 命名为xxzhd-stream01,xxzhd-stream02;其他命 名类似,stream需改为dn,如 xxzd-dn01,xxzhd-dn02。 3)系统分区,目前一般为:/(根分区)、/swap(swap 分区,一般为内存的1.5倍)、/mnt/diskn(存放 数据分区,大小尽量不要超过1T,n为自然数)。 注:IBM机器需再划分一个/boot/efi(efi分区), 否则系统无法启动。

二、大数据平台安装 1、安装管理界面的节点上,需在/etc/hosts中把本机的 hostname配置上。 2、参照【TranswarpDataHub安装和使用手册v41.pdf】文 档安装。 3、支队只需安装hyperbase和inceptor,总队都安装。 三、集成指挥平台配置使用 1、大数据平台安装完成后,在集成指挥平台的【系统管理】 →【系统配置】→【系统参数管理】里找到图片中所示 的参数,修改为安装的管理节点ip。 2、在集成指挥平台的【系统管理】→【系统配置】→【内 存参数刷新】里刷新内存。 3、在集成指挥平台的【系统管理】→【流计算配置管理】 →【流计算服务器配置】里点击【同步】按钮,同步安 装的机器的hostname,用途等信息。如果安装了HBase,需进行下面图片里描述的操作,否则查询时会报错。 4、在集成指挥平台的【系统管理】→【流计算配置管理】 →【流计算参数配置】里上传流计算jar包。 5、在集成指挥平台的【系统管理】→【系统运行监测】→

部署Hadoop大数据平台部署Hadoop平台

课题:项目3 部署Hadoop大数据平台第2部分部署Hadoop平台课次:第7次教学目标及要求: (1)任务1 JDK的安装配置(熟练掌握) (2)任务2部署Hadoop(熟练掌握) (3)任务3 理解启动Hadoop(熟练掌握) 教学重点: (1)任务1 JDK的安装配置 (2)任务2 部署Hadoop (3)任务3 启动Hadoop 教学难点: (1)任务2 部署Hadoop (2)任务3 启动Hadoop 思政主题: 旁批栏: 教学步骤及内容: 1.课程引入 2.本次课学习内容、重难点及学习要求介绍 (1)任务1 JDK的安装配置 (2)任务2 部署Hadoop (3)任务3 启动Hadoop 3.本次课的教学内容 (1)任务1 JDK的安装配置(熟练掌握) Hadoop的不同版本与JDK的版本存在兼容性问题,所有必须选择对应 版本的JDK进行安装,表中列出了Hadoop和JDK兼容表。我们通过测试 使用Hadoop3.0.0 和JDK1.8。 安装JDK我们使用JDK包安装的方式。首先我们新建JDK的安装目录 /opt/bigddata。操作步骤为://定位opt目录【操作新建目录/opt/bigdata】

[root@master /]# cd /opt/ //在opt目录下新建bigdata文件夹 [root@master /]# mkdir bigdata //查看opt目录下文件夹是否存在 [root@master /]# ls bigdata [root@master /]# Jdk解压安装,步骤为:【操作解压步骤】 [root@master opt]# cd / [root@master /]# cd /opt/ [root@master opt]# ls bigdata jdk-8u161-linux-x64.tar.gz //解压jdk压缩包 [root@master opt]# tar -zxvf jdk-8u161-linux-x64.tar.gz [root@master opt]# ls bigdata jdk1.8.0_161 jdk-8u161-linux-x64.tar.gz //把Jdk目录移动至bigdata目录 [root@master opt]# mv jdk1.8.0_161/ bigdata [root@master opt]# cd bigdata/ //查看是否移动成功 [root@master bigdata]# ls jdk1.8.0_161 [root@master bigdata]# JDK配置环境变量,此步骤为添加JA V A_HOME变量,并配置JDK。具体步骤为:【操作JDK的配置】 //进入环境变量配置文件 [root@master /]# vi /etc/profile //添加如下信息 export JA V A_HOME="/opt/bigdata/jdk1.8.0_161" export PATH=$JA V A_HOME/bin:$PATH //激活环境变量配置文件 [root@master /]# source /etc/profile //验证JDK是否配置完成 [root@master /]# java -version java version "1.8.0_161" Java(TM) SE Runtime Environment (build 1.8.0_161-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

大数据平台概要设计说明书

大数据平台概要设计说 明书 Company Document number:WTUT-WT88Y-W8BBGB-BWYTT-19998

计算平台 概要设计说明书 作者:日期: 2013-01-28 批准:日期: 审核:日期: (版权所有,翻版必究)

文件修改记录

目录

1. 引言 1.1 编写目的 大数据泛指巨量的数据集,因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料,大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富,价值堪比石油。因此,发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。 互联网特别是移动互联网的发展,加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示,1998年全球网民平均每月使用流量是1MB(兆字节),2000年是10MB,2003年是100MB,2008年是1GB(1GB等于 1024MB),2014年将是10GB。全网流量累计达到1EB(即10亿GB或 1000PB)的时间在2001年是一年,在2004年是一个月,在2007年是一周,而2013年仅需一天,即一天产生的信息量可刻满亿张DVD光盘。我国网民数居世界之首,每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易,单日数据产生量超过50TB(1TB等于1000GB),存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB,存储网页数量接近1万亿页,每天大约要处理60亿次搜索请求,几十PB数据。一个8Mbps(兆比特每秒)的摄像头一小时能产生数据,一个城市若安装几十万个交通和安防摄像头,每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在,一个病人的CT影像数据量达几十GB,而全国每年门诊人数以数十亿计,并且他们的信息需要长时间保存。总之,大数据存在于各行各业,一个大数据时代正在到来。 信息爆炸不自今日起,但近年来人们更加感受到大数据的来势迅猛。一方面,网民数量不断增加,另一方面,以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网,人均个;2013年全球将有500亿个设备联网,人均70个。随着宽带化的发展,人均网络接入带宽和流量也迅速提

软件项目部署文档

*****系统 部署方案/ ( ** 二Ο一三年五月

. 目录 第一章编写说明 (1) 编写目的 (1) 项目背景 (1) 第二章任务说明 (3) 部署内容 (3) 部署范围 (3) , 时间要求 (3) 协作说明 (3) 实施过程说明 (4) 第三章部署环境要求 (6) 硬件环境 (6) 软件环境 (6) 网络环境 (7) } 办公环境 (7) 第四章系统部署 (8) 部署顺序 (8) 基础软件部署 (8) 基础软件介绍 (8) 市级服务器信息 (10) 部署申请 (10) # 部署实施表格 (11) 试运行准备 (12) 数据库部署 (12) 数据库介绍 (12) 提交申请 (13) 提交成果 (14)

部署实施表格 (14) — 试运行准备 (15) 应用系统部署 (15) 应用系统介绍 (15) 提交申请 (16) 提交成果 (17) 部署实施表格 (17) 试运行准备 (17) ~ 第五章技术服务 (18) 技术培训 (18) 培训目标 (18) 培训对象 (18) 师资安排 (18) 培训计划 (19) 培训大纲 (19) * 培训费用 (19) 售后服务方案 (20) 质保期内服务 (20) 售后服务保障 (21) 编制工程维护保养手册 (21) 技术支持和响应 (22)

第一章编写说明 1.1编写目的 通过本文档对项目任务及实施过程进行描述,使***市级、各区县业主和项目承建单位对系统部署内容、部署成果等方面取得共识。 1.2项目背景 近年来,我国气候异常,强降雨引发的中小河流洪水灾害非常严重,集中暴露了我国中小河流治理的突出问题和薄弱环节。党中央、国务院高度重视,《中共中央国务院关于加快水利改革发展的决定》(中发[2011]1号)和《国务院关于切实加强中小河流治理和山洪地质灾害防治的若干意见》(国发[2010]31号),要求进一步加大中小河流治理和病险水库除险加固、山洪地质灾害、易灾地区生态环境综合治理力度。目前,《全国中小河流治理和病险水库除险加固、山洪地质灾害防御和综合治理总体规划》(以下简称《总体规划》)已经国务院批准,明确指出监测预报预警体系建设是完善防灾减灾的关键环节,是《总体规划》重点安排、优先实施的项目。根据国务院对《总体规划》的批复精神,中小河流水文监测系统建设以充实完善水文监测站点为重点,着力加强监测能力、应急机动巡测能力和洪水预警预报能力建设,全面提高中小河流水文监测预警水平,充分运用现代信息技术,基本建成覆盖我国中小河流水文监测网络,提高中小河流的水文信息采集、传输和洪水预报能力,确保中小河流发生洪水时能及时预警,为我国中小河流防洪提供及时、准确的决策依据。

生产企业大数据平台建设项目建议书v

生产企业大数据平台建设项目建议书v 文档编制序号:[KK8UY-LL9IO69-TTO6M3-MTOL89-FTT688]

大数据平台建设项目建议书 目录 第一章、项目背景 企业对信息化工作历来较为重视,也是省内较早开始实施信息化的大型企业。目前已经建成财务系统、生产调度系统、农务系统、供应链系统等: 调度系统,2015年公司共投资了175万元,按集团分步建设、逐步投入的规划,完成了系统基本硬件与亚控平台软件的结合,构建了一个以明阳糖厂生产调度指挥中心为核心,生产信息能够上至集团,下至车间的生产调度网络系统。 农务系统,2005年开始实施,经过多次升级,现涵盖了计划、报蔗、派车、质检、过磅、结算、短信管理、移动应用等一系列模块,覆盖公司4家直属糖厂和大桥制糖公司,实现了农务统一的信息化管理。 供应链系统,利用用友NC供应链系统,以公司存货管理为核心的采、供、销、存供应链管理平台,实现物资、仓储、供应、销售、物流一体化业务协同处理平台,建立了公司对各直属厂工作的监督平台,总部可以实时对下属各公司的工作进行监督,实时对各公司的具体业务执行情况进行查看,及时的对下属公司进行指导和监督。

尽管在两化融合及企业信息化方面已取得了相当的成效,但在实际应用过程中仍然存在一些较为显着的问题。 (一)总部与下属糖厂未实现完全的集约管理 a)企业在原先六家糖厂的基础上,又收购了三博公司五家糖厂。三博 五厂由上海迁回南宁,在宜州设立管理下属五厂的二级管理总 部。 b)从系统部署上分析,企业总部与原先六厂为一套架构,而三博总部 与下属五厂为一套架构,各自独立,暂未整合为一体。 c)为了保证各糖厂生产的稳定,企业总部与下属六厂之间仅在NC供 应链、OA、财务、人力等系统方面实现了集约管理,农务管理系 统、生产调度系统以及化验系统均由各厂自建,因此出现各厂建 设系统的厂家不同,使用的系统版本不同等现象。三博总部与下 属五厂的关系亦如此。 (二)总部及各厂之间的数据共享有限 a)由于大多数生产相关的系统均为各厂自建,因此不管是企业总部, 或者是三博总部在获取各糖厂生产相关数据上均较为困难。 b)企业总部通过制定报表模板、开发报表同步功能的方式,定期的获 取下属六家糖厂的生产相关报表,但这些报表的数据容量有限、 数据呈现较为固定,无法为总部经营决策提供实时、灵活的数据 依据。

《系统部署方案》模板

《系统部署方案》模板

写作要点: 1.1基本环境需求列表:描述基本环境对软硬件及网络的需求,必须列出名称和版本号信息。可以使用下表 2.2.1机器名及软件需求:描述每一类型的物理机/虚拟机上所需要的特殊的软件需求,必须包含名称和版本号。可以使用下表,两个表中的机器名必须完全一致。 3.2.2网络需求:描述每一类型的物理机/虚拟机如何连接到网络中,必须绘制网络拓扑图,并使用文字对图进行解释和说明,必须提到IP的选择和配置。 4.3基本环境配置:描述每一款软件/服务是如何安装的。要注意:本节所介绍的所有软件

必须和基本环境需求列表中的软件一致,每一种软件的安装为一个小节,每一个安装的步骤必须有截图和相应的文字说明,比如: 双击安装包中安装文件“jdk-6u20-Windows-i586.exe”图标,单击“接受”按钮,进入“自定义安装”界面,在此界面中单击“更改”按钮,在弹出的对话框中输入“D:\dev\kit\jdk”更改安装路径。 5.4专用环境配置:描述每一款特有软件/服务是如何安装配置的。要注意:本节所介绍的所有软件必须和专有环境需求列表中的软件一致,每一种软件的安装为一个小节,每一个安装的步骤必须有截图和相应的文字说明。 6.5.1基本环境:描述基本环境配置中会存在的或值得注意的问题及解决方案。安装问题包括安装软件和环境配置的问题;操作系统问题包括任何跟操作系统相关的问题;工具问题包括任何跟工具使用方面有关的问题。使用下表 7.5.2专用环境:描述专用环境配置中会存在的或值得注意的问题及解决方案。每一个问题一个小节,可以使用5.1中的表。

Gaia大数据平台安装部署手册

Gaia大数据平台安装部署手册

目录 1目的 (1) 术语 (1) 2软件硬件环境说明 (1) 2.1软件版本 (1) 2.2逻辑部署架构 (2) 2.3硬件环境及规划 (2) 3操作系统配置 (3) 3.1修改服务器名及HOSTS文件 (3) 3.2安装JA V A (4) 3.3新增用户 (4) 3.4SUDO无密码验证配置 (5) 3.5关闭防火墙和SEL INUX (5) 3.6搭建时间服务器及时间同步 (5) 3.6.1安装ntp (5) 3.6.2配置ntp (6) 3.7设置SSH无密码登录 (7) 3.7.1安装openssh (7) 3.7.2配置openssh (7) 3.8设置最大并发数 (8) 3.9安装并设置YUM源 (9) 3.10数据库M YSQL搭建(非必选) (9) 4CLOUDERA 聚群搭建 (10) 4.1RPM与PARCEL包镜像站点搭建 (10) 4.1.1镜像站点搭建 (10) 4.2CM管理数据库M YSQL搭建 (12)

4.2.1搭建Mysql数据库 (12) 4.2.2创建Database (12) 4.3CM部署CDH集群组件安装 (13) 4.3.1CM(cloudera manager console) 安装 (13) 4.3.2Cloudera-manager-server 配置数据库 (13) 4.3.3启动及停止CM (14) 4.3.4Hadoop集群配置 (14) 4.3.5修改jdk java.security配置 (28) 4.3.6拷贝hbase-site.xml文件 (28) 4.3.7hbase mapreduce静态环境配置 (28) 5GAIA管理控制台搭建 (29) 5.1核心服务数据库M YSQL搭建 (29) 5.2数据导入 (29) 5.3上传GAIA平台程序 (29) 5.4运行参数配置 (29) 5.5管理控制台启动及停止 (29) 6GAIA核心服务搭建 (30) 6.1Z OOKEEPER集群搭建 (30) 6.1.1Zookeeper配置 (30) 6.1.2启动Zookeeper服务 (30) 6.2核心服务参数配置 (30) 6.3核心服务启动及停止 (31) 7XREPORT应用搭建 (31) 7.1数据导入 (31) 7.2程序发布 (31) 8QA.常见问题 (31) 8.1HIVE METASTORE 需要MYSQL数据库连接JAR包 (31)

大数据平台部署文档

大数据平台搭建 一.Linux环境准备 1)格式化磁盘 mkfs.ext4 /dev/dm-0 mkdir /data mount /dev/dm-0 /data 系统重启需要手动挂载 把mount /dev/dm-0 /data 的命令放到/etc/rc.d/rc.local 重启自动挂载。df -h 查看挂载点 2)网卡绑定(当服务器有多块网卡需要网卡绑定) ?配置绑定网卡 [root@hadoop001 network-scripts]# vi /etc/sysconfig/network-scripts/ifcfg-bond0 DEVICE=bond0 TYPE=Ethernet ONBOOT=yes BOOTPROTO=static

IPADDR=19.106.64.7 NETMASK=255.255.255.0 GATEWAY=19.106.64.254 NDS1=19.104.4.3 DNS2=19.104.8.3 USERCTL=no ?各网卡设置 [root@hadoop001 network-scripts]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 TYPE=Ethernet BOOTPROTO=none ONBOOT=yes MASTER=bond0 SLAVE=yes ?配置文件添加vi /etc/modprobe.d/dist.conf 末尾追加 alias bond0 bonding options bond0 miimon=100 mode=0#每100ms检测一次链路mode=0网卡冗余机制

系统安装部署文档

Web系统安装部署文档 说明事项:本文档适用于任何一个J2EE系统安装与部署的操作。 1. War归档文件介绍 在Web应用开发程序的后期,也就是最终交付阶段,是必须部署在客户方的Web应用服务器中的。 War包的定义,war包成为JavaEE的应用程序归档文件,一般是直接部署在应用服务器的安装目录下。 War包中一般包括如下单元应用程序部署描述符web.xml 各模块编译之后的class文件 各模块编译之后的Servlet文件(原Jsp文件) 应用程序中使用的图片素材,样式文件,以及其他负载文件2. 生成标准的War归档文件 本章以Eclipse3.6 indigo版本为例,在EclipseIDE中自动生成JavaEE的war包 第一步:选择已经开发完成的Web应用程序,如下图所示 第二步:选择导出项 选择红框中的Export…会出现,如下图所示

第三步:选择生成的文件类型 在上图的Select an exceport destination:框中输入war,并选定下图的WAR file选项点击Next。会出现下图所示:

第四步:生成路径和Web应用程序 在红框中Web project:选择需要生成war的web应用程序 在红框中Destination:输入生成之后的war包放置的位置,一般便于查询,都放在桌面,或者便于操作的地方,此处Destination生成的war名称决定了以后在浏览器中url中的项目名称,点击Finish按钮出现如下图所示:

第五步:生成归档文件 出现进度条,并等待进度条完成,无错误上报之后,war包生成成功,查看桌面,此时已经生成war文件,如下图所示: 第六步:部署目录 将该war包放置在应用服务器(Tomcat为例)中的webapps中如下图所示:

相关文档
最新文档