Gaia大数据平台安装部署手册
ORACLE数据库系统安装部署手册
ORACLE数据库系统安装部署手册支持版本：Linux5.6+Oracle11g数据库与应用分离部署安装注意点：1、linux服务器需要安装图形化界面2、linux服务器最好能联网3、swap分区必须要是内存的2倍4、所有的package要先挂载上（以下步骤包括以上几点）一、安装内容及顺序1、LINUX5.6 操作系统安装；2、VNC 安装、配置；3、LINUX 操作系统相关配置修改；4、ORACLE 相关配置修改；5、ORACLE 软件安装；二、L INUX5.6 安装1.出现以下界面，回车确认安装，进入界面安装2.光盘检测跳过，选择 SKIP，点Next3.单击Next按钮，执行下一步4.选择语言：简体中文，点Next5.选择键盘方案：默认u.s.english ，点Next6.选择 Skip entering Installation Number，点击skip，点Yes，点OK7.选择Create Custom layout，点Next注：分区方案：boot：启动分区功能：系统启动文件的存放位置，一般500M 即可，如果硬盘空间较多，可以分到1-2G； tmp:临时分区功能：安装应用程序时的临时文件所用的分区，安装INFOR10 时，临时分区要5-10G，否则因临时分区空间太小导致安装不成功； swap:交换分区功能：数据交换的临时空间，类似于WINDOWS 的虚拟内存。
原则上是内存的 2 倍，如果硬盘够大，可以考虑10-20G；/ :根目录功能：将所有未分配的空间都附予此分区；9.重复前一页操作，点New，在File system type 录入框中选择【SW AP】，Size 设为 10000 MB，点OK10.重复前一页操作，点New，在Mount point 录入框中录入【/】，在Additional Size Options 中选择【Fill to maxmumallowable size】，点OK11.单击Next 按钮；12.采用默认值，点Next13.设定机器IP，设定机器名，点Next （注：可以安装后配置）14.选择时区，点Next（选择中国、香港）15.设定root 密码，点Next （设置超级用户密码）16.两个应用全部勾选，选择Customize now，点Next17.点击 Languages，选中右边 chinese Suppor，点Next注：所有开发类组件要全部选择，即：development 18.出现配置完成界面，点Next19.安装完成后点Reboot20.系统重启后进入welcome 界面，点击 forward21.选择yes…，点击Forward22.关闭防火墙，选择Disabled，点击Forward23.Selinux ：默认，点forward24.Kdump ：默认，点forward25.Date and Time：默认，点forward26.Set up software updates：选择No...,点Forward27.Create User :暂时不创建用户，点Forward28.Sound card：默认，点forward29.Additional cds：默认，点forward30.重新启动完成：输入username，输入密码。
Ganglia系统状态监控软件安装配置手册
Ganglia系统状态监控软件安装配置手册Ganglia系统状态监控软件使用手册一、 ganglia的功能Ganglia监控软件主要是用来监控系统性能的软件，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。
二、 Ganglia的组成ganglia 是分布式的监控系统，有两个Daemon, 分别是：客户端Ganglia Monitoring Daemon (gmond)和服务端Ganglia Meta Daemon (gmetad)三、服务器端的安装和配置这个服务器可以被看作是一个信息收集的装置，可以同时监控多个客户端的系统状况。
并把信息显示在web界面上。
通过web端连接这个服务器，就可以看到它所监控的机器状态。
1、安装在服务器端要安装下列包：ganglia-gmetad-3.0.3-1.fc4.i386.rpm （从各个网段获取汇总监控信息）rrdtool-1.2.18-1.el4.rf.i386.rpm （显示图像的工具）rrdtool-devel-1.2.18-1.el4.rf.i386.rpmganglia-web-3.0.3-1.noarch.rpm （Ganglia的web程序）perl-rrdtool-1.2.18-1.el4.rf.i386.rpm使用#rpm –ivh 软件包.rpm可以安装这些包。
2、配置安装完成之后,找到Ganlia服务端的配置文档：/etc/gmetad.conf.可以根据不同的需要来进行配置。
在这里只说一下如何添加或修改要监控的系统。
1）#vi /etc/gmetad.conf （进入编辑）2）找到：data_source “Login FARM” 202.122.33.85:8651202.122.33.85:8649 (后面的这些IP地址就是要监控的主机，冒号后跟的是要监听的端口号，这个端口号将在介绍客户端的配置时提到。
安装部署手册
第一部分数据库服务器的安装 (2)1 介绍 (2)1．1引言 (2)1．2术语解释 (2)1．3数据结构 (3)2安装Oracle数据库服务器 (3)2．1 查看安装的产品 (4)2．2 开始安装 (5)3安装Oracle客户端 (7)4 配置Oracle数据库 (8)4．1将数据库添加到树 (8)4．2创建数据库DBA用户及方案库 (9)4．3创建系统数据库表并建立初始数据 (11)4．4、数据库备份与恢复 (13)4．4．1数据库备份—数据导出 (13)4．4．2数据库恢复---数据导入 (13)第二部分W AS 服务器的安装配置 (14)5 W AS的安装与配置 (14)5．1 安装W AS软件 (14)5．2 W AS配置 (19)5．2．1 配置JDBC数据源 (19)5．2．2 发布应用 (27)5．2．3 设置websphere与数据库的连接 (28)5．2．4 发布 (33)6 停止和启动websphere注意事项 (38)6．1 停止websphere (38)7．设置IP地址跳转和页面访问 (40)7．1 设置ip地址跳转 (40)7．2访问地址 (41)第一部分数据库服务器的安装1 介绍1．1引言内网信息共享平台使用的数据库是oracle，这里我们选择安装ORACLE9i作为数据库服务器。
1．2术语解释导向库：是办公自动化系统的一个全局数据库，主要功能如下：1)保存所有地区用户的信息2)保存各地区数据库的导向信息3)保存用户与所在地区的关联信息4)保存系统及各子系统的全局参数地区库：主要功能包括系统用户管理、组织架构管理、服务器管理、数据字典管理、权限管理、应用系统管理和工作日期管理等七部分内容。
为办公自动化系统的各个功能模块提供用户与组织架构信息、向系统提供各模块的数据库服务器信息等基本信息。
WAS：WebSphere Application Server的缩写。
1．3数据结构建库SQL语句参考以下文件：导向库.sql导向库初始化脚本.txt地区库_管理工具.sql地区库_引擎.sql地区库_工作流触发器.sql地区库初始化脚本.txt2安装Oracle数据库服务器安装oracle前需要准备好oracle的安装文件。
goldengate安装手册(bigdata-v12.2)
×××公司Oracle Goldengate安装手册目录1Goldengate安装说明 (3)1.1 总体说明 (3)1.2 添加环境变量 (3)1.3 GG软件的安装（源和目标系统均需要安装） (4)1.4 开启源端数据库附加日志 (5)1.5数据库11.2.0.4版本参数修改 (6)1.6 配置GLOBALS (6)1.7 配置定义文件 (6)1.8 建立OGG进程和队列 (6)2数据初始同步 (11)2.1 将源端数据导入之中间库 (11)2.2 将中间库数据导入至Hadoop (11)2.3 目标启动replicat进程并追加增量数据 (11)1 Goldengate安装说明1.1 总体说明Goldengate软件目录的属主为oracle:dba，权限为775;Goldengate目录一般是建立在共享存储上，这样实际上goldengate的软件和相应的文件如参数文件，队列文件等都是在共享存储上的。
这样做的好处是，例如在RAC环境下，如果一台服务区宕机，则可以将$GG_HOME mount到另外一个正常的rac节点上，启动goldengate各个进程就可以了，不需要做任何其他的动作;本次测试过程是部署在gpfs文件系统上。
1.2 添加环境变量在oracle用户下增加环境变量：源端：export GG_HOME=/data/oggoexport PATH=$PATH:$GG_HOMEexport LIBPATH=$GG_HOME:$ORACLE_HOME/lib目标端bigdata：要求必须jdk1.7export GG_HOME=/data/oggtexport PATH=$PATH:$GG_HOMEexportLD_LIBRARY_PA TH=$GG_HOME:/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64/jre/lib/amd 64/serverPlatform Environment variableIBM AIX LIBPATHHP-UX SHLIB_PA THSun Solaris LD_LIBRARY_PATHHP Tru64 (OSF/1)LINUX1.3 GG软件的安装（源和目标系统均需要安装）1)使用Oracle用户（如非此用户，请自行取代，下同）通过ftp上传GGS软件到安装目录下并解压缩：unzip fbo_ggs_Linux_x64_shiphome.zip.zip修改参数文件：cd fbo_ggs_Linux_x64_shiphome/Disk1/response执行vi oggcore.rsp修改一下参数：INSTALL_OPTION=ORA11gSOFTWARE_LOCATION=/data/oggoDATABASE_LOCATION=/usr/lib/oracle/u01/app/oracle执行runInstaller开始安装：./runInstaller -silent -nowait -responseFile /data/oggo/fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp2)在/goldengate目录下运行GGS命令行控制界面：./ggsci3)在GGS命令行界面下创建子目录：GGSCI> create subdirs1.4 开启源端数据库附加日志1）检查附加日志情况使用以下sql语句检查数据库附加日志的打开状况:SelectSUPPLEMENTAL_LOG_DATA_MIN,SUPPLEMENTAL_LOG_DA TA_PK,SUPPLEMENTAL_LOG_DA TA_UI,SUPPLEMENTAL_LOG_DA TA_FK,SUPPLEMENTAL_LOG_DA TA_ALL, FORCE_LOGGING from v$database;2）打开数据库附加日志打开附加日志并切换日志（保证Online redo log和Archive log一致）在mount状态下打开归档日志：Alter database archivelog;alter database add supplemental log data ;或全部打开：alter database add supplemental log data(primary key,unique) columns;alter database force logging;3）创建Goldengate用户create tablespace ogg datafile ‘/data/oradata/orcl/ogg.dbf’ size 1G;create user ogg identified by ogg default tablespace ogg;GRANT execute on DBMS_SQL to ogg;grant EXEMPT ACCESS POLICY to ogg;grant create table to ogg;grant create sequence to ogg;alter user ogg quota unlimited on ogg;GRANT CONNECT TO ogg;GRANT RESOURCE TO ogg;GRANT DBA TO ogg;GRANT CREATE SESSION TO ogg;GRANT ALTER SESSION TO ogg;GRANT SELECT ANY DICTIONARY TO ogg;GRANT SELECT ANY TABLE TO ogg;GRANT FLASHBACK ANY TABLE TO ogg;GRANT ALTER ANY TABLE TO ogg;GRANT ALTER SYSTEM TO ogg;GRANT SELECT on dba_clusters TO ogg;GRANT EXECUTE ON utl_file TO ogg;BEGINDBMS_GOLDENGATE_AUTH.GRANT_ADMIN_PRIVILEGE(Grantee => 'OGG',privilege_type => 'CAPTURE',grant_select_privileges => TRUE,do_grants => TRUE);END;/4)打开表级附加日志alter table ogg.test add supplemental log data(all) columns;alter table SMODEL_JLJ.CM_PORT add supplemental log data(all) columns;alter table SMODEL_JLJ.CM_LINK add supplemental log data(all) columns;…….1.5 数据库11.2.0.4版本参数修改从数据库11.2.0.4版本开始，需要在源和目标端数据库上同时修改ENABLE_GOLDENGATE_REPLICATION参数：sqlplus / as sysdbaalter system set ENABLE_GOLDENGATE_REPLICATION=true scope=both;1.6 配置GLOBALS编辑GLOBALS：EDIT PARAMS ./GLOBALSGGSCHEMA ogg1.7 配置定义文件./ggsci…….1.8 建立OGG进程和队列（1）MGR参数和进程（源和目标均需要配置）cd $GG_HOME./ggsciggsci>edit param mgr --源端PORT 7809DYNAMICPORTLIST 7840-7914--AUTORESTART EXTRACT *, RETRIES 5, W AITMINUTES 3, RESETMINUTES 60 PURGEOLDEXTRACTS ./dirdat/*, usecheckpoints, minkeepdays 1LAGREPORTHOURS 1LAGINFOMINUTES 30LAGCRITICALMINUTES 45ggsci>edit param mgr --目标端PORT 17809DYNAMICPORTLIST 17810-17820--AUTORESTART REPLICAT *, RETRIES 5, WAITMINUTES 3, RESETMINUTES 60 PURGEOLDEXTRACTS ./dirdat/*, usecheckpoints, minkeepdays 1LAGREPORTHOURS 1LAGINFOMINUTES 30LAGCRITICALMINUTES 45配置完成后，源和目标均启动：ggsci> start mgr（2）源端配置extract和pump进程（根据用户实际环境填写）配置服务器A捕获进程cd $GG_HOME./ggsciggsci>edit param ext_jl具体ext_jl.prm内容如下：EXTRACT ext_jlSETENV (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")USERID ogg, PASSWORD oggDISCARDFILE ./dirrpt/ext_jl.dsc, APPEND, MEGABYTES 100TRANLOGOPTIONS dblogreaderDBOPTIONS ALLOWUNUSEDCOLUMNWARNLONGTRANS 2h,CHECKINTERV AL 3mFETCHOPTIONS NOUSESNAPSHOTTRANLOGOPTIONS CONVERTUCS2CLOBS--ddl include mappedEXTTRAIL ./dirdat/jl--TRANLOGOPTIONS ALTARCHIVELOGDEST PRIMARY INSTANCE oraXPAD1 /gg/sarch1, ALTARCHIVELOGDEST INSTANCE oraXPAD2 /gg/sarch2WILDCARDRESOLVE DYNAMICdynamicresolutionGETUPDATEBEFORESNOCOMPRESSUPDATESNOCOMPRESSDELETESgettruncatesTABLE SMODEL_JLJ.*, tokens (INDICATOR=@GETENV('GGHEADER','BEFOREAFTERINDICATOR'));TABLE gg.tcustmer, tokens (INDICATOR=@GETENV('GGHEADER','BEFOREAFTERINDICATOR'));配置传输进程cd $GG_HOME./ggsciggsci>edit param dpe_jl具体dpe_jl.prm内容如下：EXTRACT dpe_jlPASSTHRURMTHOST 10.142.96.16, MGRPORT 17809RMTTRAIL ./dirdat/jlDYNAMICRESOLUTIONGETTRUNCATESTABLE SMODEL_JLJ.*;table gg.tcustmer;增加ext和pump进程以及队列：cd $GG_HOME./ggsciADD EXTRACT ext_jl, TRANLOG, BEGIN NOWADD EXTTRAIL ./dirdat/jl, EXTRACT ext_jl, MEGABYTES 200ADD EXTRACT dpe_jl, EXTTRAILSOURCE ./dirdat/jlADD RMTTRAIL ./dirdat/jl, EXTRACT dpe_jl, MEGABYTES 200（3）配置hdfs投递进程创建hdfs目录：su – hjpthadoop fs –mkdir /data/hjpt/itf/hqit/oss/jlhadoop fs –ls /data/hjpt/itf/hqit/oss/jlhadoop fs -chmod -R +w /data/hjpt/itf/hqit/oss/oss/jl设置HDFS_HOME环境变量./ggsciggsci>edit param hive_jl具体hive_jl.prm内容如下：REPLICAT hive_jlTARGETDB LIBFILE libggjava.so SET property=dirprm/hdfs_jl.props GETUPDATEBEFORESgettruncatesDISCARDFILE ./dirrpt/ hive_jl.dsc, purge REPORTCOUNT EVERY 1 MINUTES, RATE GROUPTRANSOPS 2000MAXTRANSOPS 5000MAP gg.*, TARGET gg.*;MAP SMODEL_JLJ.*, TARGET SMODEL_JLJ.*;配置hdfs_jl.props内容如下：gg.handlerlist=hdfsgg.handler.hdfs.type=hdfsgg.handler.hdfs.includeTokens=truegg.handler.hdfs.maxFileSize=256mgg.handler.hdfs.rootFilePath=/data/hjpt/itf/hqit/oss/jlgg.handler.hdfs.fileRollInterval=0gg.handler.hdfs.inactivityRollInterval=0gg.handler.hdfs.fileSuffix=.txtgg.handler.hdfs.partitionByTable=truegg.handler.hdfs.rollOnMetadataChange=truegg.handler.hdfs.authType=nonegg.handler.hdfs.format=delimitedtextgg.handler.hdfs.format.includeColumnNames=falsegg.handler.hdfs.mode=tx#gg.handler.hdfs.format.includeOpTimestamp=truegg.handler.hdfs.format.includeCurrentTimestamp=truegg.handler.hdfs.format.insertOpKey=Igg.handler.hdfs.format.updateOpKey=Ugg.handler.hdfs.format.deleteOpKey=Dgg.handler.hdfs.format.truncateOpKey=Tgg.handler.hdfs.format.encoding=UTF-8gg.handler.hdfs.format.fieldDelimiter=CDA TA[\u0001]#gg.handler.hdfs.format.fieldDelimiter='|'gg.handler.hdfs.format.lineDelimiter=CDA TA[\n]gg.handler.hdfs.format.includeTableName=truegg.handler.hdfs.format.keyValueDelimiter=CDATA[=]#gg.handler.hdfs.format.kevValuePairDelimiter=CDATA[,] gg.handler.hdfs.format.pkUpdateHandling=updategg.handler.hdfs.format.nullValueRepresentation=gg.handler.hdfs.format.missingValueRepresentation=CDATA[] gg.handler.hdfs.format.includePosition=false#erexit.timestamp=utcerexit.writers=javawriterjavawriter.stats.display=TRUEjavawriter.stats.full=TRUEgg.log=log4jgg.log.level=INFOgg.report.time=30secgg.classpath=/etc/hadoop/conf.empty:/usr/lib/hadoop/*:/usr/lib/hadoop-hdfs/lib/*:/usr/lib/hadoop-hdfs/*:/usr/lib/hadoop/lib/*javawriter.bootoptions=-Xmx8200m –Xms8192m -Djava.class.path=ggjava/ggjava.jar增加目标端hive投递进程：cd $GG_HOME./ggsciGGSCI> add replicat hive_jl, EXTTRAIL ./dirdat/jl2 数据初始同步在不允许停源端数据库的情况下，需要准备一个临时中间数据库。
ganglia安装配置文档
Ganglia安装配置一、ganglia的安装1、前提：该信息提供者需要一下的两个GT组件：Java WS CoreGRAM4需要下面的两个第三方软件：perl编程类库gmond进程confuse类库apr类库2、安装：（1）建立安装目录（globus用户，假设GLOBUS_LOCATION是/usr/local/globus）$ mkdir /usr/local/globus/ganglia（2）进入ganglia安装包所在目录，进行解压安装$ cd ganglia安装包在的目录$ tar zxvf ganglia-3.0.x.tar.gz$ cd ganglia-3.0.x/$ ./configure –prefix=/usr/local/globus/gw$ make$ su - （转为root用户）# make install(3) 生成ganglia的配置文件（root用户）＃ /usr/local/globus/ganglia/sbin/gmond -t >/etc/ganglia/gmond.conf生成配置文件后，可以根据自己的需要修改集群的”name”、“ownder”、“port”等信息。
（4）测试ganglia＃ /usr/local/globus/ganglia/sbin/gmond# telnet localhost 8649 此处如果不行，把localhost换成主机名可以看到一些XML格式的信息。
（5）将gmond配置为系统服务# pkill gmond (关闭gmond进程)＃ cd ganglia加压目录/gmond# vim gmond.init将GMOND=/usr/sbin/gmond 替换为GMOND=/usr/local/globus/ganglia/sbin/gmond# cp gmond.init /etc/init.d/gmond# chkconfig –add gmond# chkconfig –list gmond＃ service gmond start(将服务gmond启动)二、ganglia同GT的连接配置1、启动usefulRP（使用globus用户）$ cd $GLOBUS_LOCATION/etc/globus_wsrf_mds_index$ vim server-config.wsdd该文件是用XML格式写成的，修改service name="DefaultIndexService" 的标签内容，在其provider的value属性中增加下面一行:efulrp.rpprovider.ResourcePropertyProviderCollection 同时增加如下内容：<parameter name="rpProviderConfigFile"value="etc/globus_wsrf_mds_usefulrp/gluece-rpprovider-sample-config.xml"/>(该文件可以自己指定，但是路径必须要正确)2、修改rpp配置文件（上面的value指定的文件）$ cd $GLOBUS_LOCATION/etc/globus_wsrf_mds_usefulrp$ mds-gluerp-configure fork ganglia gluece-rpprovider-sample-config.xml（该处的LRM取决于你所安装的资源管理器，除了fork也可以是condor或者PBS）可以编辑该文件修改ganglia端口3、修改LRM的glucerp配置$ cd $GLOBUS_LOCATION/etc/globus_wsrf_gram_Fork（取决于你安装的RM）$ mds-gluerp-configure fork ganglia如果你的ganglia和gt同时运行在相同的机器上，那么可以到此为止了，如果不是，你还要修改该文件中的localhost和prot。
WebGIS平台安装部署及维护手册
目录一、WebGIS平台软件安装31、IIS安装32、.net framework2.0安装43、ArcGIS Desktop安装44、Oracle安装135、ArcSDE安装136、ArcGIS Server安装20二、WebGIS中创建ArcGIS Server服务步骤281、打开ArcCatalog282、连上SDE服务293、新建一个Feature Dataset（数据集）294、导入图层到SDE315、创建路网模型326、修改mxd文件的数据源路径397、建一个路径分析图层418、将具有x，y坐标字段的数据表转为图层459、发布ArcGIS Server服务5310、创建地图缓存5411、在ArcCatalog中为图层创建索引57三、WebGIS部署中遇到的问题及解决方法601、在发布地图服务时出现拒绝访问mxd文件的问题602、程序发布到iis服务后，运行程序时提示找不到地图服务603、不能创建地图缓存，一点生成缓存，ArcCatalog就关闭614、地图缓存磁盘空间不够怎么办625、出现Unable connect to remote Server 错误646、中队可以进入系统，但看不到地图647、路径分析服务地图标注少的问题668、消防栓、重点单位图层的设置689、查询不到结果、找不到中队、地名等6810、在IE中输入网址后，ie自动关闭6811、不能正确使用ArcGIS Server69WebGIS平台部署一、WebGIS平台软件安装这里用到的操作系统是Window server 2003 sp1,.net版本为2.0，IIS版本为，ArcGIS版本为9.2+sp4，Oracle版本为10gR2(10.2.*)1、IIS安装在windows控制面板-〉添加或删除程序-〉添加或删除windows组件-〉选中应用程序服务器。
点击下一步即可安装，安装过程中需要使用到windows server 2003的安装盘，需把安装盘放入光驱。
Hadoop大数据平台安装实验(详细步骤)(虚拟机linux)
大数据技术实验报告大数据技术实验一Hadoop大数据平台安装实验1实验目的在大数据时代，存在很多开源的分布式数据采集、计算、存储技术，本实验将在熟练掌握几种常见Linux命令的基础上搭建Hadoop(HDFS、MapReduce、HBase、Hive)、Spark、Scala、Storm、Kafka、JDK、MySQL、ZooKeeper等的大数据采集、处理分析技术环境。
2实验环境个人笔记本电脑Win10、Oracle VM VirtualBox 5.2.44、CentOS-7-x86_64-Minimal-1511.iso3实验步骤首先安装虚拟机管理程序，然后创建三台虚拟服务器，最后在虚拟服务器上搭建以Hadoop 集群为核心的大数据平台。
3.1快速热身，熟悉并操作下列Linux命令·创建一个初始文件夹，以自己的姓名（英文）命名；进入该文件夹，在这个文件夹下创建一个文件，命名为Hadoop.txt。
·查看这个文件夹下的文件列表。
·在Hadoop.txt中写入“Hello Hadoop!”，并保存·在该文件夹中创建子文件夹”Sub”，随后将Hadoop.txt文件移动到子文件夹中。
·递归的删除整个初始文件夹。
3.2安装虚拟机并做一些准备工作3.2.1安装虚拟机下载系统镜像，CentOS-7-x86_64-Minimal-1511.iso。
虚拟机软件使用Oracle VM VirtualBox 5.2.44。
3.2.2准备工作关闭防火墙和Selinux，其次要安装perl 、libaio、ntpdate 和screen。
然后检查网卡是否开机自启，之后修改hosts，检查网络是否正常如图：然后要创建hadoop用户，之后多次用，并且生成ssh 密钥并分发。
最后安装NTP 服务。
3.3安装MYSQL 3.3.1安装3.3.2测试3.4安装ZooKeeper。
土地调查数据库质量检查软件安装部署手册
土地调查数据库质量检查软件安装部署手册上海数慧系统技术有限公司二〇一二年十二月上海数慧系统技术有限公司Shanghai Digital Intelligence System Technology Co., Ltd.目录1运行环境 (1)1.1 硬件环境 (1)1.2 软件环境 (1)2软件安装 (1)2.1 Microsoft .NET Framework 2.0 安装 (1)2.2 ArcGIS Engine9.3 Runtime安装 (2)2.3 安装ArcGIS Engine9.3Runtime的SP1补丁 (10)2.4 “土地调查数据库质量检查软件”安装 (12)2.5 “土地调查数据库质量检查软件”卸载 (16)1运行环境1.1硬件环境这里仅提供软件运行的最低配置，如采用此配置可能会影响运行速度，特别是执行大数据量质检的时候，建议提高硬件配置以减少等待时间。
CPU：Intel P4 3.0或者更高内存：至少2G硬盘：至少20G1.2软件环境操作系统：适合运行在如下Microsoft Windows 版本，包括Windows XP （SP2 及更高版本）、Windows 2003 Server( SP1 及更高版本)、Windows 7；运行环境：Microsoft .NET Framework 2.0GIS环境：ArcEngine 9.3 Runtime (需要安装SP1 补丁包)其它环境：Microsoft Office 2003 Word (及其以上版本)Microsoft Office 2003 Excel (及其以上版本)Microsoft Office 2003 Access (及其以上版本)2软件安装2.1Microsoft .NET Framework 2.0 安装软件安装过程中安装程序将判断操作系统是否已经安装.NET Framework 2.0如果没有，安装程序将自动安装.NET Framework 2.0。
史上最详细的大数据安装
hadoop安装1.准备虚拟机：1.1.安装虚拟机：(模拟真实的linux环境)1.1.1.新建1.1.2.填写信息，点击下一步注意：如果看不到，表示虚拟化没开启，需要按照下面步骤开启虚拟化。
1）重启机器1.1.3.输入1024（内存），因为1024可以图形化界面安装。
下一步1.1.4.选择创建，创建虚拟硬盘1.1.5.选择硬盘文件类型，点击下一步1.1.6.选择动态分配，点击下一步1.1.7.输入大小，这里的20G不会真实的分配20G，是动态扩展，点击创建结束到此，虚拟机创建完毕。
1.1.8.选择虚拟机，点击设置1.1.9.常规-高级，虚拟机备份位置1.1.10.显示-48M，大一点，否则安装虚拟机的时候会有点卡1.1.11.存储，选择镜像文件1.1.12.点击，选择一个虚拟光盘1.1.13.网卡1、2网卡1：对应linux中的eth0.启用网络连接：选择勾上。
连接方式：桥接界面名称：选择网卡信息（可以使本地连接或者无线，在“更改适配器”中能看到名字对应哪个网卡）混杂模式：全部允许。
接入网线：选择勾上网卡2：对应linux中的eth1.启用网络连接：选择勾上。
连接方式：仅Host-only。
界面名称：虚拟网卡的驱动（注意：如果什么都没有，说明你的虚拟网卡没有打开，去“更改适配器”中将禁用的网卡打开）混杂模式：全部允许。
接入网线：选择勾上1.1.14.点击确认，虚拟机设置完毕。
1.1.15.点击启动注意：如果启动的时候报错：centos：only for i686，说明你机器的虚拟技术没开启，按照上面1.1.2的说明修改bios。
1.1.16.选择第一项，通过镜像安装1.1.17.测试media，按tab选择，选择跳过1.1.18.选择next1.1.19.选择中文简体，那么接下来的安装过程中为中文，next1.1.20.选择系统语言，next1.1.21.选择“是，忽略所有数据”1.1.22.输入主机名主机名：linux机器的名字。
Spark大数据平台搭建与部署实践指南
Spark大数据平台搭建与部署实践指南Spark大数据平台是一个快速、通用且易于使用的集群计算系统，它可以用于大规模数据处理和分析。
本文将介绍如何搭建与部署Spark大数据平台，并提供一些实践指南。
一、环境准备在开始之前，确保以下环境准备工作已经完成：1. Spark的安装包2. Hadoop集群（如果要在分布式模式下运行）3. Java开发环境二、搭建Spark大数据平台1. 解压Spark安装包将Spark安装包解压到你选择的目录下，例如/opt/spark。
2. 配置环境变量打开终端，编辑/etc/profile文件，并添加以下内容：export SPARK_HOME=/opt/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin保存并退出，然后运行以下命令使配置生效：source /etc/profile3. 配置Spark集群如果你要在分布式模式下运行Spark，请确保你已经设置好了Hadoop集群，并将其配置文件复制到Spark的配置目录中。
编辑$SPARK_HOME/conf/spark-env.sh文件，并添加以下内容：export HADOOP_CONF_DIR=/path/to/your/hadoop/conf保存并退出。
4. 启动Spark集群进入Spark安装目录，运行以下命令启动Spark集群：./sbin/start-all.sh这将启动Spark的Master和Worker进程。
5. 验证Spark集群打开浏览器，访问Spark的Web界面。
默认情况下，它可以通过http://localhost:8080访问。
你应该能够看到Spark集群的状态以及运行的应用程序。
三、实践指南1. 提高性能为了提高Spark集群的性能，你可以尝试以下方法：- 增加集群的计算资源，例如增加Worker节点或增加节点的内存和CPU核心。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Gaia大数据平台 安装部署手册 目录
1 目的 ........................................................................................................................... 1 术语 .................................................................................................................................. 1 2 软件硬件环境说明 ................................................................................................... 1 2.1 软件版本 ......................................................................................................... 1 2.2 逻辑部署架构 ................................................................................................. 2 2.3 硬件环境及规划 ............................................................................................. 2
3 操作系统配置 ........................................................................................................... 3 3.1 修改服务器名及HOSTS文件 ......................................................................... 3 3.2 安装JAVA ........................................................................................................ 4 3.3 新增用户 ......................................................................................................... 4 3.4 SUDO无密码验证配置 ................................................................................... 5 3.5 关闭防火墙和SELINUX ................................................................................. 5 3.6 搭建时间服务器及时间同步 ......................................................................... 5 3.6.1 安装ntp ....................................................................................................... 5 3.6.2 配置ntp ....................................................................................................... 6 3.7 设置SSH无密码登录 ..................................................................................... 7 3.7.1 安装openssh ............................................................................................... 7 3.7.2 配置openssh ............................................................................................... 7 3.8 设置最大并发数 ............................................................................................. 8 3.9 安装并设置YUM源 ....................................................................................... 9 3.10 数据库MYSQL搭建(非必选) ........................................................................ 9
4 CLOUDERA 聚群搭建 ........................................................................................ 10 4.1 RPM与PARCEL 包镜像站点搭建 ............................................................ 10 4.1.1 镜像站点搭建 ........................................................................................... 10 4.2 CM管理数据库MYSQL搭建 ...................................................................... 12 4.2.1 搭建Mysql数据库 ................................................................................... 12 4.2.2 创建Database ........................................................................................... 12 4.3 CM部署CDH集群组件安装 ..................................................................... 13 4.3.1 CM(cloudera manager console) 安装....................................................... 13 4.3.2 Cloudera-manager-server 配置数据库 .................................................... 13 4.3.3 启动及停止CM ........................................................................................ 14 4.3.4 Hadoop集群配置 ..................................................................................... 14 4.3.5 修改jdk java.security配置 ....................................................................... 28 4.3.6 拷贝hbase-site.xml文件 .......................................................................... 28 4.3.7 hbase mapreduce静态环境配置............................................................... 28
5 GAIA管理控制台搭建 .......................................................................................... 29 5.1 核心服务数据库MYSQL搭建 ..................................................................... 29 5.2 数据导入 ....................................................................................................... 29 5.3 上传GAIA平台程序 ................................................................................... 29 5.4 运行参数配置 ............................................................................................... 29 5.5 管理控制台启动及停止 ............................................................................... 29
6 GAIA核心服务搭建 .............................................................................................. 30 6.1 ZOOKEEPER集群搭建 ................................................................................... 30 6.1.1 Zookeeper配置 ......................................................................................... 30 6.1.2 启动Zookeeper服务 ................................................................................ 30 6.2 核心服务参数配置 ....................................................................................... 30 6.3 核心服务启动及停止 ................................................................................... 31