Datastage8.5的配置(通信等问题)
DataStage安装手册
3．ETL环境部署3.1 安装DataStage3.1.1 Server安装3.1.1.1 创建用户及组AIX运行smit命令，启动管理界面在安装机器上创建dstage组, ADMINISTRATIVE USER 选项为true，创建用户dsadm，主属为dstage ，ADMINISTRATIVE USER 选项为true；Primary GROUP，Group SET，ADMINISTRATIVE GROUPS：均为dstageHP Unix运行sam命令，启动管理界面在安装机器上创建dstage组创建用户dsadm，主属为dstage组3.1.1.3 系统参数设置1)检查Server端paging space的空间，对于CPU数量少于20个的机器，最好整个Paging Space为500M×CPU数，如机器配置了8个CPU，则推荐至少需要配置4GB的Paging Space空间。
2)检查核心参数，不符合要求则针对操作系统进行如下调整(AIX使用smit，HPUnix使用sam)：3)运行lsattr -E -l sys0 | grep maxuproc，检查参数Maximum number of PROCESSESallowed per user，设置Datastage允许运行的最大进程数，推荐设置到较大的值，如：8192。
4)运行lsuser –f dsadm,检查如下参数：fsize，data，stack，rss。
推荐将这些参数设置为unlimit3.1.1.4 Server安装步骤确保以超级用户root进入系统(非常重要)如果是硬盘包，则执行命令：gunzip 2105-ds-75a-aix.tar.Z进入解压目录Tar xvf 2105-ds-75a-aix.tar进入/解压环境/Ascential.media/aix目录如果是光盘包，则执行命令：Mount /cdrom进入/cdrom目录1)AIX操作系统执行/Ascential.media/install.sh –admin dsadm.2)；HP Unix执行./INSTALL.SH\;1。
Datastage8.5服务器安装部署手册
执行计划查看优化如何查看执行计划基于ORACLE的应用系统很多性能问题，是由应用系统SQL性能低劣引起的，所以，SQL的性能优化很重要，分析与优化SQL的性能我们一般通过查看该SQL的执行计划，本文就如何看懂执行计划，以及如何通过分析执行计划对SQL进行优化做相应说明。
一、什么是执行计划（explain plan）执行计划：一条查询语句在ORACLE中的执行过程或访问路径的描述。
二、如何查看执行计划1: 在PL/SQL下按F5查看执行计划。
第三方工具toad等。
很多人以为PL/SQL的执行计划只能看到基数、优化器、耗费等基本信息，其实这个可以在PL/SQL工具里面设置的。
可以看到很多其它信息，如下所示2:在SQL*PLUS(PL/SQL的命令窗口和SQL窗口均可)下执行下面步骤1. 工作实质将SQL语句预估的执行计划加载到表plan_table,是对表plan_table 执行了DML操作，故不会执行隐式提交可以对select,insert,update,merge,delete,create table, create index,alter index等加载执行计划到plan_table2. 前提条件需要先创建plan_table，创建方法：@?/rdbms/admin/utlxplan对当前的SQL语句有执行权限以及对依赖的对象有相应操作的权限2.1SQL>EXPLAIN PLAN FORSELECT * FROM SCOTT.EMP; --要解析的SQL脚本SQL>SELECT * FROM TABLE(DBMS_XPLAN.DISPLAY);2.2SQL> SELECT * FROM PLAN_TABLE;2.3SQL> @E:\app\kerry\product\11.2.0\dbhome_1\RDBMS\ADMIN\utlxpls.sql SQL> @E:\app\kerry\product\11.2.0\dbhome_1\RDBMS\ADMIN\utlxplp.sql3:在SQL*PLUS下(有些命令在PL/SQL下无效)执行如下命令：SQL>SET TIMING ON --控制显示执行时间统计数据SQL>SET AUTOTRACE ON --这样设置包含执行计划、脚本数据输出、统计信息SQL>执行需要查看执行计划的SQL语句SQL>SET AUTOTRACE OFF --不生成AUTOTRACE报告，这是缺省模式SQL>SET AUTOTRACE ON EXPLAIN --这样设置包含执行计划、脚本数据输出，没有统计信息SQL>执行需要查看执行计划的SQL语句SQL>SET AUTOTRACE OFF --不生成AUTOTRACE报告，这是缺省模式SQL> SET AUTOTRACE ON --这样设置包含执行计划、统计信息、以及脚本数据输出SQL>执行需要查看执行计划的SQL语句SQL>SET AUTOTRACE OFFSQL> SET AUTOTRACE TRACEONLY --这样设置会有执行计划、统计信息，不会有脚本数据输出SQL>执行需要查看执行计划的SQL语句SQL>SET AUTOTRACE TRACEONLY STAT --这样设置只包含有统计信息SQL>执行需要查看执行计划的SQL语句SET AUTOT[RACE] {ON | OFF | TRACE[ONLY]} [EXP[LAIN]] [STAT[ISTICS]] 参考文档：SQLPlus User’s Guide and Reference Release 11.1注意：PL/SQL Developer 工具并不完全支持所有的SQL*Plus命令，像SET AUTOTRACE ON 就如此，在PL/SQL Developer工具下执行此命令会报错SQL> SET AUTOTRACE ON;Cannot SET AUTOTRACE4：SQL_TRACE可以作为参数在全局启用，也可以通过命令形式在具体SESSION启用4.1 在全局启用，在参数文件（pfile/spfile)中指定SQL_TRACE =true，在全局启用SQL_TRACE时会导致所有进程活动被跟踪，包括后台进程以及用户进程，通常会导致比较严重的性能问题，所以在生产环境要谨慎使用。
DATASTAGE的介绍及基本操作
内容提要：
• 一、datastage 介绍 • 二、如何安装datastage • 三、配置datastage 工程 • 四、设计并运行datastage的job • 五、操作元数据 • 六、操作关联数据 • 七、操作约束条件及数据来源 • 八、定义查找使用的哈希文件 • 九、聚合数据 • 十、job的运行及调试 • 十一、创建Basic表达式
• 使用DataStage中的Manager来存储和管理Job的元
数据，使之可以在DataStage中的Designer中再度被 使用。
• 元数据包括表单和文件结构和导出数据的Routines
的转换等等。
• Manager是DataStage存储的一个重要的部分，可以
用来加入表单和文件的结构，在左侧分支树中显示 Routines、Transforms和Jobs。
• 问题二：
Datastage的Manager用来执行编译通过的Jobs。（Yes/No）
答案二：
No， Datastage的Manager是用来管理元数据的，如表单结 构，内置和自定义Routines等的，使Datastage用来管理资源 存储的。
• 问题三：
Datastage的Director用来执行编译通过的Jobs。 （Yes/No） 答案三：
程中系统提示使用者选择安装路径和输入产 品序列号。
在Datastage Server安装的过程中会提示 用户建立一个工程。
在安装Datastage Server端以后，需要安 装Datastage Client端，鼠标点击
软件会自动进行安装，安装过程中系统提示 使用者选择安装路径和输入产品序列号。
• 安装有Datastage服务端的机器，必须运行
Datastage8.5的配置（通信等问题）
Datastage8.5的配置（通信等问题）Datastage8.5的配置(通信等问题)Datastagelinux版本的服务端、客户端安装完成后需要进行一些配置。
这是以我自己的使用过程遇到的错误进行了一次配置的总结。
有不对的地方请大家指正。
DS版本：8.5x服务端操作系统：linux redhat 5.7客户端操作系统：win7源数据和目标数据库为：oracle下列配置，是在服务端和客户端已经安装成功的情况下。
客户端和服务端的通信。
可能遇到问题：1. Failed to authenticate the current user against the selected service tier:Server [servername] not found.2. Failed to authenticate the current user against the selected service tier:Could not connect to server [servername] on port [portnumber].3. Failed to authenticate the current user against the selected Domain:Invalid user name (username) or password.解决思路，大概如下：一，确保所有的datastage 服务已经开启。
在linux 可使用ps -ef |grep db2 ，ps -ef|grep websphere，ps -ef|grep agent等命令来查看相关服务是否已经启动。
二，客户端配置在windows：C:\WINDOWS\system32\drivers\etc\hosts file 添加（服务器的IP地址，以及计算机名）比如：192.168.26.10 /doc/5018983421.html, dahost三，如果遇到用户名和密码的问题那么使用dsadmin 或者dsadm用户登陆客户端试试，密码是安装时自己设置的，切记。
Datastage8.5安装手册with_Oracle_repository
Datastage8.5安装⼿册with_Oracle_repository ⽬录1.概述 (1)1.1⽬的 (1)1.2适⽤范围 (1)2.安装环境 (1)2.1软件环境 (1)2.2硬件环境 (1)2.3安装软硬件需求 (2)2.3.1操作系统 (2)2.3.2操作系统内核参数 (2)2.3.3依赖动态链接库 (2)2.3.4内存 (3)2.3.5硬盘 (3)2.3.6知识库 (3)3.安装步骤 (3)3.1创建知识库 (3)3.1.1获取知识库创建脚本 (4)3.1.2获取知识库创建脚本 (4)3.2C++编译器安装 (4)3.3D A TASTAGE S ERVER安装 (4)3.3.1介质上传及解压 (4)3.3.2启动安装程序 (4)3.3.3使⽤浏览器登陆安装界⾯ (5)3.3.4安装前浏览信息 (5)3.3.5软件许可协议 (6)3.3.6防⽕墙检查 (7)3.3.7早期安装需求检查 (8)3.3.8指定Information Server安装⽬录 (9)3.3.10选择安装软件 (11)3.3.11选择要安装的产品 (12)3.3.12选择要安装的版本 (15)3.3.13集群配置 (15)3.3.14安装Websphere Application Server (17)3.3.15指定Websphere Application Server⽬录 (17)3.3.16为Websphere Application Server分配监听端⼝ (18) 3.3.17Websphere Application Server管理员配置 (19) 3.3.18Infomation Server管理员配置 (21)3.3.19Datastage知识库选择 (21)3.3.20配置Datastage知识库连接 (22)3.3.21Infomation Server代理端⼝配置 (23)3.3.22配置Datastage管理员 (25)3.3.23Infomation Server作业监听端⼝配置 (27)3.3.24Infomation Server多实例设置 (28)3.3.25DS全球化⽀持 (29)3.3.26MQ插件选择 (30)3.3.27SAS组件配置 (31)3.3.28安装过程是否创建⼯程 (32)3.3.29Information Analyzer分析数据库连接配置 (33)3.3.30软件安装软硬件需求检测 (34)3.3.31安装过程相应⽂件 (34)3.3.32安装前摘要 (36)3.3.33开始安装 (36)3.3.34安装完成 (38)3.4D A TASTAGE C LIENT安装 (38)4.DATASTAGE配置 (38)4.1D A TASTAGE S ERVER配置 (38)4.1.2DS系统环境设置 (43)4.2D A TASTAGE C LIENT配置 (43)5.卸载 (44)6.数据库连接访问配置 (45)6.1O RACLE连接配置 (45)6.1.1Oracle客户端安装 (45)6.1.2Datastage⽤户组设置 (47)6.1.3Datastage⽤户环境配置 (47)6.1.4重启服务使得配置⽣效 (47)6.1.5Oracle⽤户权限设置 (49)7.ODBC配置 (50)7.1DSENV配置 (51)7.2ODBC.INI配置 (51)7.3修改UVODBC.CONFIG (52)8.安装验证 (53)8.1基本作业验证 (53)8.2编译器是否正常 (55)8.3O RACLE CONNECTOR验证 (57)9.注意事项 (57)1.概述1.1⽬的本⽂档旨在描述Datastage8.5在Redhat EE 64bit Server5.9安装执⾏步骤，以及注意事项。
datastage使用说明
用DataStage进行数据整合DataStage 的开发环境是基于C/S 模式的，通过DataStage Client 连接到DataStage Server 上进行开发。
这里有一点需要注意，DataStage Client 只能安装在Windows 平台上面。
而DataStage Server 则支持多种平台，比如Windows、Redhat Linux、AIX、HP-UNIX。
DataStage Client 有四种客户端工具。
分别是DataStage Administrator、DataStage Designer、DataStage Manager、DataStage Director。
接下来首先介绍这几种客户端工具在DataStage 架构中所处的位置以及它们如何协同工作来开发ETL Job 的，接着再分别详细介绍每个工具的功能。
图1 描述了IBM WebSphere DataStage 的整个系统架构。
DataStage 的客户端工具连接到DataStage Server 上进行ETL Job 的开发，DataStage Server 再与后台的数据库连接起来进行数据处理。
DataStage 的客户端工具之间的是一个相互合作的关系。
下面通过介绍ETL Job的开发过程来介绍他们之间的这种关系。
ETL Job开发流程1．用DataStage Administrator 新建一个项目；2．用DataStage Designer 连接到这个新建的项目上进行ETL Job的设计；3．用DataStage Director 对设计好的ETL Job设置运行的模式，比如多长时间运行一次ETL Job；4．用DataStage Manager 进行ETL Job的备份等。
图1：IBM WebSphere DataStage 架构图DataStage AdministratorDataStage Administrator 的主要功能有以下几个：1．设置客户端和服务器连接的最大时间。
DATASTAGE使用实用指南
DATESTAGE 使用实用指南1.DataStage官方文档学习笔记1.1通过右键添加link鼠标右键点击起始stage，按住右键移动鼠标到目标stage。
还有一种方法就是把鼠标放在起始stage的边缘等到变为一个小圆圈里面有一个叉的时候拖动鼠标到目标stage。
1.2DataStage中默认和隐式类型转换时注意的问题当从源向目标映射数据时，如果类型不一致，对于有些类型我们需要在modify或transfomer stage中通过函数进行转换，对于有些系统会自动完成类型转换，在类型转换过程中，注意以下几点：1 在变长到固定长度字符串的默认转换中，parallel jobs用null（ASCII 0）字符来填充剩余长度。
联系到前面做的一个parallel job，当目标是变长时（当时源也是变长，但是好像源的精度要小些），但是字符串实际的长度没有指定的变长那么长的话，系统会自动用空格（ASCII 20）来填充（具体在哪个stage 填充的不知），而且环境变量APT_STRING_PADCHAR的默认值也是空格（ASCII 20）。
2 通过环境变量APT_STRING_PADCHAR可以改变默认的填充字符null（ASCII 0）。
注：联系上面两点，感觉文档讲的与实际不符，难道我们项目的administrator改变了该环境变量的默认值？3 有个PadString 函数可以用来用指定的字符来填充一个变长的字符串到指定的长度。
这个函数的参数不能使固定长度字符串，如果是固定长度的先转化为变长。
1.3Copy Stage作为占位符在job开发中，当你暂时不知道该使用哪个stage时，可以使用copy stage作为占位符，注意不要把Force 属性设为True，在不把Force设为True时，复制将在运行时进行优化。
使用Schema file来指定meta data1 可以通过列定义和schema file两种方式来指定meta data，值得注意的一点是Note that, if you usea schema file, you should ensure that runtime column propagation is turned on. Otherwise the column definitions specified in the stage editor will always override any schema file.即，如果想通过schema file来指定meta data，必须勾上runtime column propagation，否则总是使用列定义来作为meta data。
DataStage客户端安装及使用文档
DataStage 客户端安装及使用文档1.客户端安装1.1 安装步骤解压客户端文件client_IA-suite.rar，完成后，进入目录，client_IA-suite，运行install.exe，会提示如下：选择英语，点击确定，安装时，最好关闭防火墙，选择要安装客户端的位置，点击NEXT：选择要安装的组件，点击NEXT：选择安装模式，点击NEXT：点击INSTALL后，开始安装：点击FINISH，安装完成。
安装完成后，在本机的HOSTS文件中需要配置一下：目录：C:\Windows\System32\drivers\etc在最后一行添加如下：# localhost name resolution is handled within DNS itself.# 127.0.0.1 localhost# ::1 localhost17.83.26.110（IP地址为服务器地址）ETL110（这个名字可以自己取）1.2 DataStage Client组件安装完成后有如下组件：1.Administrator Client用于创建DataStage 用户，创建，移动项目，设置清除标准的用户界面。
2.Director Client用来验证，计划时间，运行，监控DataStage 作业的用户界面。
3.Designer Client用来创建DataStage 应用（或作业）的设计接口。
每个作业都指定数据源，所需的转换和数据的目的地。
作业被编译成可执行的，由Director 计划，由Server 运行（主机作业被转移，在主机上运行）。
4.Datastage Manager用于存储和管理JOB 的元数据，使之可以在DataStage Designer 中再度被使用，包括库表定义、集中的转换程序等，并对工程备份和恢复。
2.组件使用2.1Administrator Client2.1.1登陆界面ETL110为刚刚我们在HOSTS中配置的名字，端口一般都是9080输入DOMAIN和账号密码完成后，点击DATASTAGE SERVER 右边的小三角，这时DATASTAGE会去验证用户名密码，成功后，会出来下拉框，这时证明已经联通了，选中一个SERVER，点击OK即可登陆2.1.2设置参数登陆成功后，界面如下：General页签：Projects页签：点击工程属性按钮后，显示界面如下：General 页签：Protect Projec t :设置项目为protected, 如果一个项目已经是protected，则按钮就显示为“Unprotect Project”Auto-purge of job log：每个Job 都对应一个log 文件，Job 的每一次运行都会产生新的log 附加到log 文件中，如果不及时清除无用的log，将会占用大量的空间，同时还会影响Job 的运行效率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Datastage8.5的配置(通信等问题)
Datastagelinux版本的服务端、客户端安装完成后需要进行一些配置。
这是以我自己的使用过程遇到的错误进行了一次配置的总结。
有不对的地方请大家指正。
DS版本：8.5x
服务端操作系统：linux redhat 5.7
客户端操作系统：win7
源数据和目标数据库为：oracle
下列配置，是在服务端和客户端已经安装成功的情况下。
客户端和服务端的通信。
可能遇到问题：
1. Failed to authenticate the current user against the selected service tier:
Server [servername] not found.
2. Failed to authenticate the current user against the selected service tier:
Could not connect to server [servername] on port [portnumber].
3. Failed to authenticate the current user against the selected Domain:
Invalid user name (username) or password.
解决思路，大概如下：
一，确保所有的datastage 服务已经开启。
在linux 可使用ps -ef |grep db2 ，ps -ef|grep websphere，ps -ef|grep agent等命令来查看
相关服务是否已经启动。
二，客户端配置
在windows：C:\WINDOWS\system32\drivers\etc\hosts file 添加（服务器的IP地址，以及计算机名）
比如：192.168.26.10 dahost
三，如果遇到用户名和密码的问题那么使用dsadmin 或者dsadm用户登陆客户端试试，密码是安装时自己设置的，切记。
如果使用的是其他用户，那么登陆web console ，确保已经做好了Credential mapping 。
四，确保使用的是正确的port ，端口一般是9080。
控制台是9060
可以通过netstat -a 来查看当前监听的是哪一个端口。
使用oracle组件，或从oracle导入源数据，加载数据到oracle数据库
第一步安装oracle 客户端
1. 在服务器上安装oracle客户端，配置tnsnames.ora(linux下的oracle的ora文件时需要自己手动添加的), 并启动TNS服务
2. 需要在/etc/hosts文件中加上要连接到的oracle服务器的IP、计算机名信息。
第二步配置desnv ---配置$DSHOME/dsenv文件
1）进入DSEngin目录，备份dsenv后将其打开
cd /IBM/InformationServer/Server/DSEngine
cp dsenv dsenv.bak
vi dsenv
2) 修改LIBPATH内容
如果文件中不含有上述有颜色部分，则需要添加；如果已经含有，则只需要添加如下内容：
添加完内容后，执行以下命令：
bash
.$DSHOME/dsenv
第三步配置profile 文件(好像不用配置也可以。
这个不太确定。
可以先不配置。
试试能不能使用)
配置完后，输入下列命令：
bash
. /home/dsadm/.profile
第四步安装oracle 组件
切换到DS组件安装目录/opt/IBM/InformationServer/Server/DSComponents/install，执行命令安装oracle组件：。