linux下安装datastage
Red hat Enterprise Linux 5.5(64bit)操作系统下Datastage 8.1安装操作指南
Linux（64bit）操作系统下Datastage安装操作指南1.目的本流程旨在规范DataStage在Linux5（64bit）系列操作系统上的安装流程。
2.适用范围本文档适用于在所有操作系统为REDHAT LINUX 5 的DELL R系列PC Server服务器上安装DataStage8.1。
2.1.安装Linux的注意事项2.1.1.检查相关服务关闭防火墙和禁用SEliunx (此安全部件如果不禁用，会导致某些连接无法访问)，也可以在安装完后找到/etc/SeLiunx/下config文件（如果在安装中禁用了，则没有这个文件夹）：修改成SELINUX=disable 禁用SeLinux修改成SELINUX=enforcing 使用SeLinux防火墙开启和关闭：重启后生效开启：chkconfig iptables on关闭：chkconfig iptables off即时生效，重启后失效开启：service iptables start关闭：service iptables stop2.1.2.软件包是否安装齐全用rpm -qa | grep +文件名命令检查附：所有必须安装装软件包。
如果没有安装全建议配置yum源Yum数据源的创建编辑vi /etc/yum.repos.d/rhel-debuginfo.repo如下：[server]name=Red Hat Enterprise Linux $releasever - $basearch - Debugbaseurl=file:///media/Serverenabled=1gpgcheck=1gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release进行yum测试测试yum源是否安装成功用yum数据源安装以下数据包：yum install compat*yum install elfutils*yum install glibc*yum install lib*yum install pam*图1 32位操作系统图2 64位操作系统2.1.3.创建安装目录#mkdir DSSetup，将DataStageSvr_v8.1_RHEL.tar.gz，updater.jar，BOClic_1.xml，patch，四个文件拷入/root/DSSetup , 将DataStageSvr_v8.1_RHEL.tar.gz解压之后得文件夹，is-ia-suite。
Datastage8.5的配置（通信等问题）
Datastage8.5的配置（通信等问题）Datastage8.5的配置(通信等问题)Datastagelinux版本的服务端、客户端安装完成后需要进行一些配置。
这是以我自己的使用过程遇到的错误进行了一次配置的总结。
有不对的地方请大家指正。
DS版本：8.5x服务端操作系统：linux redhat 5.7客户端操作系统：win7源数据和目标数据库为：oracle下列配置，是在服务端和客户端已经安装成功的情况下。
客户端和服务端的通信。
可能遇到问题：1. Failed to authenticate the current user against the selected service tier:Server [servername] not found.2. Failed to authenticate the current user against the selected service tier:Could not connect to server [servername] on port [portnumber].3. Failed to authenticate the current user against the selected Domain:Invalid user name (username) or password.解决思路，大概如下：一，确保所有的datastage 服务已经开启。
在linux 可使用ps -ef |grep db2 ，ps -ef|grep websphere，ps -ef|grep agent等命令来查看相关服务是否已经启动。
二，客户端配置在windows：C:\WINDOWS\system32\drivers\etc\hosts file 添加（服务器的IP地址，以及计算机名）比如：192.168.26.10 /doc/5018983421.html, dahost三，如果遇到用户名和密码的问题那么使用dsadmin 或者dsadm用户登陆客户端试试，密码是安装时自己设置的，切记。
Datastage8.5安装手册with_Oracle_repository
Datastage8.5安装⼿册with_Oracle_repository ⽬录1.概述 (1)1.1⽬的 (1)1.2适⽤范围 (1)2.安装环境 (1)2.1软件环境 (1)2.2硬件环境 (1)2.3安装软硬件需求 (2)2.3.1操作系统 (2)2.3.2操作系统内核参数 (2)2.3.3依赖动态链接库 (2)2.3.4内存 (3)2.3.5硬盘 (3)2.3.6知识库 (3)3.安装步骤 (3)3.1创建知识库 (3)3.1.1获取知识库创建脚本 (4)3.1.2获取知识库创建脚本 (4)3.2C++编译器安装 (4)3.3D A TASTAGE S ERVER安装 (4)3.3.1介质上传及解压 (4)3.3.2启动安装程序 (4)3.3.3使⽤浏览器登陆安装界⾯ (5)3.3.4安装前浏览信息 (5)3.3.5软件许可协议 (6)3.3.6防⽕墙检查 (7)3.3.7早期安装需求检查 (8)3.3.8指定Information Server安装⽬录 (9)3.3.10选择安装软件 (11)3.3.11选择要安装的产品 (12)3.3.12选择要安装的版本 (15)3.3.13集群配置 (15)3.3.14安装Websphere Application Server (17)3.3.15指定Websphere Application Server⽬录 (17)3.3.16为Websphere Application Server分配监听端⼝ (18) 3.3.17Websphere Application Server管理员配置 (19) 3.3.18Infomation Server管理员配置 (21)3.3.19Datastage知识库选择 (21)3.3.20配置Datastage知识库连接 (22)3.3.21Infomation Server代理端⼝配置 (23)3.3.22配置Datastage管理员 (25)3.3.23Infomation Server作业监听端⼝配置 (27)3.3.24Infomation Server多实例设置 (28)3.3.25DS全球化⽀持 (29)3.3.26MQ插件选择 (30)3.3.27SAS组件配置 (31)3.3.28安装过程是否创建⼯程 (32)3.3.29Information Analyzer分析数据库连接配置 (33)3.3.30软件安装软硬件需求检测 (34)3.3.31安装过程相应⽂件 (34)3.3.32安装前摘要 (36)3.3.33开始安装 (36)3.3.34安装完成 (38)3.4D A TASTAGE C LIENT安装 (38)4.DATASTAGE配置 (38)4.1D A TASTAGE S ERVER配置 (38)4.1.2DS系统环境设置 (43)4.2D A TASTAGE C LIENT配置 (43)5.卸载 (44)6.数据库连接访问配置 (45)6.1O RACLE连接配置 (45)6.1.1Oracle客户端安装 (45)6.1.2Datastage⽤户组设置 (47)6.1.3Datastage⽤户环境配置 (47)6.1.4重启服务使得配置⽣效 (47)6.1.5Oracle⽤户权限设置 (49)7.ODBC配置 (50)7.1DSENV配置 (51)7.2ODBC.INI配置 (51)7.3修改UVODBC.CONFIG (52)8.安装验证 (53)8.1基本作业验证 (53)8.2编译器是否正常 (55)8.3O RACLE CONNECTOR验证 (57)9.注意事项 (57)1.概述1.1⽬的本⽂档旨在描述Datastage8.5在Redhat EE 64bit Server5.9安装执⾏步骤，以及注意事项。
datastage使用说明
用DataStage进行数据整合DataStage 的开发环境是基于C/S 模式的，通过DataStage Client 连接到DataStage Server 上进行开发。
这里有一点需要注意，DataStage Client 只能安装在Windows 平台上面。
而DataStage Server 则支持多种平台，比如Windows、Redhat Linux、AIX、HP-UNIX。
DataStage Client 有四种客户端工具。
分别是DataStage Administrator、DataStage Designer、DataStage Manager、DataStage Director。
接下来首先介绍这几种客户端工具在DataStage 架构中所处的位置以及它们如何协同工作来开发ETL Job 的，接着再分别详细介绍每个工具的功能。
图1 描述了IBM WebSphere DataStage 的整个系统架构。
DataStage 的客户端工具连接到DataStage Server 上进行ETL Job 的开发，DataStage Server 再与后台的数据库连接起来进行数据处理。
DataStage 的客户端工具之间的是一个相互合作的关系。
下面通过介绍ETL Job的开发过程来介绍他们之间的这种关系。
ETL Job开发流程1．用DataStage Administrator 新建一个项目；2．用DataStage Designer 连接到这个新建的项目上进行ETL Job的设计；3．用DataStage Director 对设计好的ETL Job设置运行的模式，比如多长时间运行一次ETL Job；4．用DataStage Manager 进行ETL Job的备份等。
图1：IBM WebSphere DataStage 架构图DataStage AdministratorDataStage Administrator 的主要功能有以下几个：1．设置客户端和服务器连接的最大时间。
DataStage客户端安装及使用文档
DataStage 客户端安装及使用文档1.客户端安装1.1 安装步骤解压客户端文件client_IA-suite.rar，完成后，进入目录，client_IA-suite，运行install.exe，会提示如下：选择英语，点击确定，安装时，最好关闭防火墙，选择要安装客户端的位置，点击NEXT：选择要安装的组件，点击NEXT：选择安装模式，点击NEXT：点击INSTALL后，开始安装：点击FINISH，安装完成。
安装完成后，在本机的HOSTS文件中需要配置一下：目录：C:\Windows\System32\drivers\etc在最后一行添加如下：# localhost name resolution is handled within DNS itself.# 127.0.0.1 localhost# ::1 localhost17.83.26.110（IP地址为服务器地址）ETL110（这个名字可以自己取）1.2 DataStage Client组件安装完成后有如下组件：1.Administrator Client用于创建DataStage 用户，创建，移动项目，设置清除标准的用户界面。
2.Director Client用来验证，计划时间，运行，监控DataStage 作业的用户界面。
3.Designer Client用来创建DataStage 应用（或作业）的设计接口。
每个作业都指定数据源，所需的转换和数据的目的地。
作业被编译成可执行的，由Director 计划，由Server 运行（主机作业被转移，在主机上运行）。
4.Datastage Manager用于存储和管理JOB 的元数据，使之可以在DataStage Designer 中再度被使用，包括库表定义、集中的转换程序等，并对工程备份和恢复。
2.组件使用2.1Administrator Client2.1.1登陆界面ETL110为刚刚我们在HOSTS中配置的名字，端口一般都是9080输入DOMAIN和账号密码完成后，点击DATASTAGE SERVER 右边的小三角，这时DATASTAGE会去验证用户名密码，成功后，会出来下拉框，这时证明已经联通了，选中一个SERVER，点击OK即可登陆2.1.2设置参数登陆成功后，界面如下：General页签：Projects页签：点击工程属性按钮后，显示界面如下：General 页签：Protect Projec t :设置项目为protected, 如果一个项目已经是protected，则按钮就显示为“Unprotect Project”Auto-purge of job log：每个Job 都对应一个log 文件，Job 的每一次运行都会产生新的log 附加到log 文件中，如果不及时清除无用的log，将会占用大量的空间，同时还会影响Job 的运行效率。
datastage教程
1、【第一章】datastage简介与工作原理1、简介数据中心（数据仓库）中的数据来自于多种业务数据源，这些数据源可能是不同硬件平台上，使用不同的操作系统，数据模型也相差很远，因而数据以不同的方式存在不同的数据库中。
如何获取并向数据中心（数据仓库）加载这些数据量大、种类多的数据，已成为建立数据中心（数据仓库）所面临的一个关键问题。
针对目前系统的数据来源复杂，而且分析应用尚未成型的现状，专业的数据抽取、转换和装载工具DataStage是最好的选择。
Websphere DataStage 是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化，并将其输入数据集市或数据中心（数据仓库）目标数据库的集成工具。
DataStage 能够处理多种数据源的数据，包括主机系统的大型数据库、开放系统上的关系数据库和普通的文件系统等，以下列出它所能处理的主要数据源：大型主机系统数据库：IMS,DB2,ADABAS,VSAM 等开放系统的关系数据库：Informix,Oracle,Sybase,DB2,Microsoft SQL Server等ERP 系统：SAP/R3,PeopleSoft系统等，普通文件和复杂文件系统，FTP 文件系统，XML等IIS,Netscape,Apache等Web服务器系统Outlook等Email系统。
DataStage 可以从多个不同的业务系统中，从多个平台的数据源中抽取数据，完成转换和清洗，装载到各种系统里面。
其中每步都可以在图形化工具里完成，同样可以灵活的被外部系统调度，提供专门的设计工具来设计转换规则和清洗规则等，实现了增量抽取、任务调度等多种复杂而实用的功能。
其中简单的数据转换可以通过在界面上拖拉操作和调用一些DataStage 预定义转换函数来实现，复杂转换可以通过编写脚本或结合其他语言的扩展来实现，并且DataStage 提供调试环境，可以极大提高开发和调试抽取、转换程序的效率。
datastage入门教程
DATASTAGE总结一、安装datastageA、安装服务端安装虚拟机(注册码在文件中)---解压datastage安装包redhat3__Datastage----点击解压文件中Red Hat Enterprise Linux 3---安装---在虚拟机启动---查看虚拟机IP地址，在dos窗口验证是否可以连接---打开secureCRT，连接虚拟机---进入/app/oracle/product/10.2/network/admin/tnsnames.ora中---按E键，再按i 进入编辑状态---将IP地址设为本机Ip地址，数据库实例名自己设置---按ESC、W、Q、：键退出---完成B、安装客户端解压datastage客户端安装包Datastageclient---点击解压文件datastage7.5.3\datastage client---安装---注册码在datastage7.5.1下载地址及license中----完成二、DATASTAGE主键1、transforme r（oracle----transformer---file）数据源oracle设置properties\source\readmethod=auto-generated sqlproperties\source\table=要导入的表名点击connection，出现remote server=数据库实例名，user=Scott，password=tigerColumns下将length设置合适---load---oracleI9--选定导入的表名---ok注意：若不知道导入表的格式Columns下将length设置合适---load---import---plug-in meda data definitions---oracleI9--ok---数据库实例名，用户名、密码---ok--选择Scott用户下---选表--- 导入Transformer设置：将需要显示的字段拖拽过去---ok目标文件file设置：properties下file--填入保存路径first line is columns name=trueFomat下点击record level 添加record delimiter 属性为UNIX newline点击field defaults 添加 null field value 属性为0 Quote=noneColumns下将length设置合适----ok以下主键数据源或目标文件为oracle/file的设置同上transformer的设置方法2、转存（file---transformer---file）Transformer设置：将需要显示的字段拖拽过去---ok3、导入（file---transformer---oracle）Transformer设置：将需要显示的字段拖拽过去---ok4、copy（file--copy--多file）：一个输入，多个输出Copy设置：stage当只有一个输入及一个输出时最好将Force设置为TrueOutput下将需要显示的字段拖拽过去---ok5、filter（file--filter---多file）：只有一个输入，可以有多个输出Filter设置：stage下properties\where clause=过滤条件--点击whereclause出现output link=slink值（在link orderingzhong看对应值） Output下将需要显示的字段拖拽过去---ok6、join（多oracle---join---file）：多表连接Join设置：stage下properties\join keys\key=关联字段，options\join type=连接类型（内、全、左、右连接）Output下将需要显示的字段拖拽过去---ok7、look up(多oracle---look up--file):数据的查询Look up设置：将关联字段连接，再将需要显示的字段拖拽过去8、merge(多file---merge---file):相同数据的合并Merge设置：stage下properties\merge keys\key=字段，sort order=排序Options下unmatched masters mode=保留/删除Output下将需要显示的字段拖拽过去---ok9、funnel（多file---funnel---file）：数据的合并Funnel设置：stage下properties\options\funnel type=选择合并方式Output下将需要显示的字段拖拽过去---ok10、aggregator(oracle---aggregator---file):数据的分类、汇总Aggregator设置：stage下properties\grouping keys\group=分组字段点击aggregations\aggregation type出现column for calculation=聚合字段及合方式，可以取最大值，最小值， Sum值，count值等多种聚合方式。
Datastage 配置操作步骤
1部署软件环境DB服务器：22.4.8.7DB客户端：22.4.8.10，22.4.8.11，22.4.8.12，22.4.8.13DataStage主服务器：22.4.8.11DataStage备份服务器：22.4.8.13DataStage节点：22.5.8.10，22.5.8.122创建用户为每台机器创建dstage组和dsadm用户➢运行smit命令，启动管理界面➢在安装机器上创建dstage组设置ADMINISTRATIVE USER 选项为true设置GID设为300➢创建用户dsadm设置主属为dstage，设置ADMINISTRATIVE USER 选项为true；设置UID设为300；设置Primary GROUP，Group SET，ADMINISTRATIVE GROUPS：均为dstage；设置Soft FILE size [-1] （无限制）设置Hard FILE size [-1] （无限制）3修改系统参数调整每台机器的最大进程数查看用户进程最大数目：lsattr -El sys0|grep maxuproc如：修改用户进程最大数目：注意：要调整每个Ｄatastage节点的最大进程数用root用户登陆，键入即可。
chdev -l sys0 -a maxuproc=40964 DataStage安装4.1上传DataStage介质到服务器上将介质拷贝到终端上，然后ftp到22.4.8.11和22.4.8.13上，将介质放在/Ascential.media 目录下，并赋上所有权限：chmod -R 777 /Ascential.media4.2安装DataStage4.2.1进入/Ascential.media，运行sh ./install.sh –admin dsadm，中间安装过程请参考上线文档，在安装过程中创建工程ETL_ODS.4.2.2配置dsadm用户.profile环境变量，增加如下内容22.4.8.11：# The following three lines have been added by IBM DB2 instance utilities.if [ -f /home/db2inst1/sqllib/db2profile ]; then. /home/db2inst1/sqllib/db2profilefi#ds envexport ETLPLUS_HOME=/home/dsadmexport DSHOME=/home/dsadm/Ascential/DataStage/DSEngineexport APT_ORCHHOME=/home/dsadm/Ascential/DataStage/PXEngineexport DB2HOME=/home/db2inst1/sqllibexportPATH=$PATH:$DSHOME/bin:$DB2HOME/include:/home/dsadm/Ascential/DataStage/ PXEngine.753.1/libexportLIBPATH=$LIBPATH:$DSHOME/lib:$APT_ORCHHOME/lib:/home/dsadm/Ascential/Dat aStage/PXEngine.753.1/lib. $DSHOME/dsenv22.4.8.13：# The following three lines have been added by IBM DB2 instance utilities.if [ -f /home/db2inst1/sqllib/db2profile ]; then. /home/db2inst1/sqllib/db2profilefi#ds envexport ETLPLUS_HOME=/home/dsadmexport DSHOME=/home/dsadm/Ascential/DataStage/DSEngineexport APT_ORCHHOME=/home/dsadm/Ascential/DataStage/PXEngineexport DB2HOME=/home/db2inst1/sqllibexportPATH=$PATH:$DSHOME/bin:$DB2HOME/include:/home/dsadm/Ascential/DataStage/ PXEngine.753.1/libexportLIBPATH=$LIBPATH:$DSHOME/lib:$APT_ORCHHOME/lib:/home/dsadm/Ascential/Dat aStage/PXEngine.753.1/lib. $DSHOME/dsenv22.4.8.10：export DSHOME=/home/dsadm/Ascential/DataStage/DSEngineexport APT_ORCHHOME=/home/dsadm/Ascential/DataStage/PXEngineexport DB2DIR=/opt/IBM/db2/V9.5export DB2INSTANCE=db2inst1export INSTHOME=/home/db2inst1exportPATH=$PATH:$INSTHOME/sqllib/bin:$INSTHOME/sqllib/adm:$INSTHOME/sqllib/mi sc:$APT_ORCHHOME/lib:$APT_ORCHHOME/binexportDB2PATH=$INSTHOME/sqllib/bin:$INSTHOME/sqllib/adm:$INSTHOME/sqllib/misc exportLIBPATH=$LIBPATH:$DB2DIR/lib:$INSTHOME/sqllib/lib:$APT_ORCHHOME/libexport ETLPLUS_HOME=/home/dsadm22.4.8.12：export DSHOME=/home/dsadm/Ascential/DataStage/DSEngineexport APT_ORCHHOME=/home/dsadm/Ascential/DataStage/PXEngineexport DB2DIR=/opt/IBM/db2/V9.5export DB2INSTANCE=db2inst1export INSTHOME=/home/db2inst1exportPATH=$PATH:$INSTHOME/sqllib/bin:$INSTHOME/sqllib/adm:$INSTHOME/sqllib/mi sc:$APT_ORCHHOME/lib:$APT_ORCHHOME/binexportDB2PATH=$INSTHOME/sqllib/bin:$INSTHOME/sqllib/adm:$INSTHOME/sqllib/misc exportLIBPATH=$LIBPATH:$DB2DIR/lib:$INSTHOME/sqllib/lib:$APT_ORCHHOME/libexport ETLPLUS_HOME=/home/dsadm22.4.8.7：# The following three lines have been added by IBM DB2 instance utilities. if [ -f /home/db2inst1/sqllib/db2profile ]; then. /home/db2inst1/sqllib/db2profilefiexport ETLPLUS_HOME=/progexport DSHOME=/home/dsadm/Ascential/DataStage/DSEngineexport APT_ORCHHOME=/home/dsadm/Ascential/DataStage/PXEngineexport DB2DIR=/opt/IBM/db2/V9.5export DB2INSTANCE=db2inst1export INSTHOME=/home/db2inst1exportPATH=$PATH:$INSTHOME/sqllib/bin:$INSTHOME/sqllib/adm:$INSTHOME/sqllib/mi sc:$APT_ORCHHOME/lib:$APT_ORCHHOME/binexportDB2PATH=$INSTHOME/sqllib/bin:$INSTHOME/sqllib/adm:$INSTHOME/sqllib/misc exportLIBPATH=$LIBPATH:$DB2DIR/lib:$INSTHOME/sqllib/lib:$APT_ORCHHOME/libexport DateInfoPath=/gpfsf/DateInfoPath5配置rsh环境。